Парсинг Avito.ru при помощи Python 3
Ноябрь 7, 2016
Парсим сайт Avito.ru при помощи библиотек языка Python 3 — requests и BeautifulSoup, а результат сохраняем в csv файл
⭐ "Практический курс парсинга сайтов на Python" ⭐
Лендинг курса:
https://p-notes.ru
Видео о курсе:
https://youtu.be/aRsbRYZxTGA
*** ИСХОДНЫЙ КОД ***
Основных проектов доступен в Patreon:
https://www.patreon.com/posts/iskhodnyi-kod-26640469
***
_____
Поддержите канал:
🔷 Для донатов. Всегда очень признателен за это:
https://www.donationalerts.ru/r/omolchanov
pay-pal: [email protected]
Yandex.Деньги: 41001250941952
1189 21
54,785 просмотров
Парсим Avito.ru при помощи Python 3 (часть 2) - собираем номера телефонов.
Показываю способ как можно автоматизировать процесс сбора номеров телефонов с Avito.ru.
Сбор телефонов делаю через создание скриншота страницы с телефоном, кропаю полученную картинку по размеру телефона и сохраняю в gif. Полученный gif распознаем (OCR — optical character recognition).
Пишем скрипт на Python 3.
Библиотеки:
1. Selenium: — pip install selenium
2. Pillow — pip install pillow
3. Pytesseract: — pip install pytesseract — sudo apt-get install tesseract-ocr
*** ИСХОДНЫЙ КОД ***
Основных проектов доступен в Patreon:
https://www.patreon.com/posts/iskhodnyi-kod-26640469
***
———
🔷 Для донатов. Всегда очень признателен за это:
https://www.donationalerts.ru/r/omolchanov
———
⭐ "Практический курс парсинга сайтов на Python" ⭐
Лендинг курса:
https://p-notes.ru
Видео о курсе:
https://youtu.be/aRsbRYZxTGA
——
Поддержите канал!
Pay-Pal: [email protected]
Yandex.Деньги: 41001250941952
525 9
№127 - Строим бизнес на сервисе парсинга чужих сайтов в Интернете с разными целями :)
Идея вам для бизнеса — парсинг чужих сайтов на предмет мониторинга цен конкурентов, получения контента для своего Интернет- магазина (это не совсем корректно с точки зрения права) или формирование выгрузок на популярные торговые площадки для повышения продаж!
Множество идей для вашего бизнеса. Онлайн бизнес на базе инновационных технологий. Новости со всего мира для вашего стартапа.
Ссылка на наш канал — подписывайтесь: youtube.com/c/maximkulgin
На сайте http://startup.today/ мы много пишем как можно повысить эффективность вашего бизнеса с помощью мобильных приложений, идей и технологий. Приводим конкретные примеры разных компаний.
Если у вашего бизнеса, по итогу просмотра видео-роликов, появится необходимость в мобильных приложения — обращайтесь! Наша команда: http://notissimus.com/
У вас интернет-магазин? Включайтесь в наш проект http://tapki.com/ и повышайте свои продажи через Интернет!
У вас есть розничные точки продаж (оказания услуг) в городах России? Подключайтесь к сервису http://letmeget.ru и привлекайте новых клиентов!
Добавляйте меня в друзья, подписывайтесь! :)
https://www.facebook.com/mkulgin
https://vk.com/startup.today
https://www.linkedin.com/in/mkulgin
Группа, посвященная мобильным технологиям в рознице:
https://www.facebook.com/groups/zakazi24/
Наш канал в телеграм: https://telegram.me/startuptd
Подписывайтесь на наш канал — мы будем публиковать видео регулярно!
145 2
1. Что такое Blockchain и как он работает
Эта мини-серия скринкастов посвящена блокчейну. Что это такое, как блокчейн работает, как написать свой блокчейн на Python. Описываю принципиальную схему работы.
Подходит для новичков.
*** ИСХОДНЫЙ КОД ***
Основных проектов доступен в Patreon:
https://www.patreon.com/posts/iskhodnyi-kod-26640469
***
_____
Поддержите канал!
🔷 Для донатов. Всегда очень признателен за это:
https://www.donationalerts.ru/r/omolchanov
Pay-Pal: [email protected]
Yandex.Деньги: 41001250941952
Background preview wallpaper Designed by kjpargeter / Freepik
477 7
Как выучить Python? Самый аху#### способ!
Хочешь выучить Python, но понятия не имеешь как?!
Изи, лови методичку ; )
🚀 Курс Python веб-разработчик от SkillFactory: https://goo.gl/95pkp7
===
Сообщите менеджеру промо-код "Хауди Хо" чтобы получить 10% скидку!
Забронируйте курс и уже в 2019 году получите самую востребованную на рынке профессию web-разработчика!
🔵 Наш TELEGRAM: https://t.me/howdyho_official
Наш ВК: https://www.vk.com/howdyho_net
🆇 Ссылки из видео 🆇
𝟭: Книги: https://vk.com/topic-84392011_37640354
𝟮: Проект Эйлера: http://euler.jakumo.org/
𝟯: Awesome Python: https://github.com/vinta/awesome-python
𝟰: Курс по написанию ботов для Telegram: https://groosha.gitbooks.io/telegram-bot-lessons/content/
Сотрудничество https://vk.com/topic-84392011_33285530
💗 Музыка предоставлена YouTube Audio Library.
46212 991
BBC micro:bit — учимся программировать на JavaScript и Python с британским акцентом. Железки Амперки
Миниатюрная образовательная плата — https://goo.gl/gMqrfG
Платформа micro:bit — краеугольный камень новой образовательной стратегии британской вещательной компании под названием «Make it Digital». Основная задача программы — вовлечь школьников в мир высоких технологий и показать, что не боги гаджеты собирают.
У BBC уже был успешный опыт. В рамках аналогичной программы в далёком 1981 компания Acorn Computer разработала и выпустила на рынок один из первых домашних компьютеров — BBC Micro. Компьютер получился быстрым — вдвое шустрее Apple II и Spectrum ZX — дешёвым, а, главное, воистину неубиваемым.
BBC micro было выпущено более полутора миллионов и они стали основной рабочей лошадкой в школах Содружества. И вот теперь, тридцать лет спустя, BBC внедряет в школы новую железку, названную в честь предшественника — micro:bit.
Плата построена вокруг 32-х битного процессора ARM Cortex-M0. Второй ARM отвечает за работу с интерфейсом USB. Кроме того, на борту энергоэффективный модуль Bluetooth работающий на частоте 2, 4 Ггц.
Для пользователей доступны 256 КБ флеш-памяти и 16 КБ оперативки. Кроме того, на плате уже распаяны модули акселерометра и магнетометра — информация с них доступна по протоколу I2C.
На обратной стороне платы внимание привлекает светодиодная матрица из 25 элементов и две программируемые кнопки. Благодаря им плата превращается в настоящий интерактивный гаджет, который не требует для своей работы ни компьютера, ни дополнительных модулей.
Всего этого богатства должно хватить на пару десятков проектов — наручных часов, электронных игр, и контроллеров систем умного дома.
Для подключения micro:bit к компьютеру не нужно устанавливать драйвера. Подключите плату рыжим проводом по USB и она появится в проводнике как обычная флешка.
Для запуска среды разработки зайдём на сайт microbit.org и выберем язык, на котором будем писать код. Для JavaScript компания Microsoft разработала специальную версию визуального редактора кода Make Code. Альтернатива — текстовый редактор кода для Python. Кроме того, здесь же есть ссылки на скачивание приложений под iOS и Android.
Плата рассчитана на обучение детей с семи лет, поэтому с Питоном мы подождём. Запустим творение Microsoft и напишем простую программу — электронный компас. Она будет выводить на светодиодную матрицу букву N, если мы стоим лицом на север, S — если на юг, W — на запад, а E указывает на восток.
По работе с кодом среда сильно напоминает Scratch, но логические блоки сгруппированы иначе, а главное, в левой части экрана расположен удобный эмулятор платы. На нём отображается состояние всех светодиодов, кнопок и моделируются показания сенсоров. Поэтому мы можем сначала полностью отладить код в редакторе и лишь потом залить рабочую прошивку в устройство.
Осталось подать питание и гаджет готов. Это можно сделать по USB — подойдёт зарядка от смартфона или powerbank. Трёхвольтовый аккумулятор можно подключить к специальной колодке или подцепить две пальчиковые батарейки крокодилами или бананами.
Визуальный редактор пригодится и для создания программы, которая передаст показания акселерометра на смартфон.
Для начала скачаем и установим на телефон приложения для работы с платой. Первым поставим приложение от партнёра по программе Make it Digital компании Samsung. Оно предназначено для подключения плат micro:bit к мобильным устройствам на Android. Затем установим приложение micro:bit Blue — оно визуализирует получаемые смартфоном данные.
Чтобы передать данные с акселерометра на телефон понадобится написать всего один блок кода. После прошивки платы на экране телефона отобразятся все повороты нашего устройства по всем трём осям.
Если встроенного железа покажется мало, к плате можно подключать дополнительные модули. Три пина выведены на широкие площадки под крокодилы и продублированы разъёмами Banana Plugs.
Остальные двадцать пинов выведены на торец платы с шагом 1, 37 мм. На них дублируются показания светодиодов, выведены контакты кнопок, интерфейсы SPI и I2C.
Для удобной работы с этими контактами уже существуют специальные шилды. Их пока не много, но учитывая планы BBC по производству минимум миллиона micro:bit, ждать новых расширений придётся не долго.
_________________________________________________________________
BBC micro:bit в Амперке — https://goo.gl/gMqrfG
Как подключить и настроить — http://wiki.amperka.ru/продукты:bbc-microbit
Учимся программировать на JS — http://wiki.amperka.ru/js:start
_________________________________________________________________
#microbit #javascript #python #амперка #amperka #bbc #железкиамперки
709 24
Уроки Python casts #4 - if __name __ == '__main__': что это значит
Что означает конструкция if __name__ == '__main__'. Что такое переменная __name__, зачем нужно и как использовать.
На всякий случай:
Это два нижних подчеркивания спереди и сзади.
*** ИСХОДНЫЙ КОД ***
Основных проектов доступен в Patreon:
https://www.patreon.com/posts/iskhodnyi-kod-26640469
***
———
🔷 Для донатов. Всегда очень признателен за это:
https://www.donationalerts.ru/r/omolchanov
———
Продолжение серии уроков по языку Python для начинающих. Серия посвящена отдельным темам по программированию на Python.
★ Важно:
Как читать Traceback Python:
https://www.youtube.com/watch?v=peDiltcUBuU
Работа с ошибками на примере двух нерабочих парсеров:
https://www.youtube.com/watch?v=hUZ9B6gcnuo
★ Все серии Python casts:
# 1 — Что вам нужно знать о Pip
https://www.youtube.com/watch?v=INVi_0pNSg8
# 2 — Переменные окружения. Использование.
https://www.youtube.com/watch?v=WYeC2R2Ytm4
# 3 — Что означает *args, **kwargs
https://www.youtube.com/watch?v=VJJ9wwzgJCA
#4 — if __name __ == '__main__': что это значит
https://www.youtube.com/watch?v=cW_-zGG4ef4
#5 — Генераторы списков (List comprehension)
https://www.youtube.com/watch?v=dP2dpSTj0ZI
#6 — Декораторы
https://www.youtube.com/watch?v=Ss1M32pp5Ew
#7 — 5 приемов, о которых вы могли не знать
https://www.youtube.com/watch?v=0ZWKyrTq8eI
#8 — Замыкания
https://www.youtube.com/watch?v=wKyUZY4-Dxc
#9 — Что такое try... except...
https://www.youtube.com/watch?v=HE9wO49GJOY
#10 — Что такое yield
https://www.youtube.com/watch?v=ZjaVrzOkpZk
#11 — Как работает функция map()
https://www.youtube.com/watch?v=CDgOn4i6sSw
#12 — Как работает функция filter()
https://www.youtube.com/watch?v=H4AlLQnEXDY
#13 — Else у циклов For и While
https://www.youtube.com/watch?v=9bpAs7wmojE
★ Плейлисты:
Django 2.x:
https://www.youtube.com/playlist?list=PLlWXhlUMyooaDkd39pknA1-Olj54HtpjX
Flask:
https://www.youtube.com/playlist?list=PLlWXhlUMyooZr5R2u2Zwxt6Pw6iwBo5y5
Боты для Телеграма:
https://www.youtube.com/playlist?list=PLlWXhlUMyooaTZA4vxU9ZRZQPCFxUq9VA
Работа с API Вконтакте:
https://www.youtube.com/playlist?list=PLlWXhlUMyooZx_th2MsNYTeLamdfCMAOm
——
Поддержите канал!
Pay-Pal: [email protected]
Yandex.Деньги: 41001250941952
725 7
Адский парсер сайта в Browser Automation Studio. Первая половина
Нарвался на шайтан-программу Browser Automation Studio, которая позволяет автоматизировать действия в браузере а также создавать парсеры сайтов( причем не требует глубокого знания какого-либо языка программирования).
Поскольку видео про Selenium Web Driver пользуются неплохим спросом, подумал что господам автоматизаторам будет это интересно. Всё равно других идей для видосов пока нету.
Вторая половина
https://youtu.be/w7PiuC5rTWE
441 19
Наглые барыги Avito #2 - GTX440, игровой E5450 - НостальжиПК
Куда Настальже девает подарки —
https://goo.gl/kDFVDg
Профили фотографа на авито — https://goo.gl/rRgzLK
https://goo.gl/S5Bo1C
https://goo.gl/Nyt5wy
https://goo.gl/72qtxE
—-
Видео разоблачения от Зеленой Бумаги — https://youtu.be/lwZot0Xtmpo
—-
Всем привет! Многие не верили в обзор Green Paper на НостальжиПК, защищали его, в сегодняшнем видео вы увидите то, что продает наш Олег под видом крутых и игровых сборок.
Так же, данное видео может поставить под сомнение большое количество обзоров и даже конкурсов на канале "Ностальжи ПК"
Смотрите видео и сами делайте свои выводы!)
Приятного просмотра. Подписывайтесь на основной канал, ставьте лайки под этим видео!
—-
Основной канал — https://goo.gl/1qnCAV
Группа канала ВК — https://vk.com/murkmurkov
Инста — https://www.instagram.com/maddy_murk/
Наша телега — https://t.me/maddymurk
15137 961
Какие задачи удобно решать на Python? Интервью с Алексеем Зиновьевым из GDG Russia.
Интервью с Алексеем Зиновьевым — разработчиком из Google Developers Group Russia.
Алексей рассказал о том, как он начал программировать на Python, не смотря на то, что изначально не хотел его изучать. Какие задачи удобно решать на Python, почему Python хорош для стартапов? Так же рассказал о Google Developers Group.
Портал видеоуроков: http://loftblog.ru/
Школа онлайн обучения: http://loftschool.com/
Фильтр новостей в мире информационных технологий: http://vk.com/loftblog
Также в facebook: http://www.facebook.com/loftblog
И, конечно, twitter: http://twitter.com/loft_blog
——————————————————————————————————————----—-
Не забываем, что самый лучший способ сказать "спасибо" — нажать кнопку "нравится" и скинуть ссылку на интервью друзьям. Ничто другое так сильно не мотивирует авторов продолжать работу 😄
529 76
Отзывы GeekBrains JavaRush Специалист Luxoft и другие
Отзывы GeekBrains JavaRush Специалист Luxoft и другие
http://job4j.ru/ — Обучение и трудоустройство Java-программистов от Junior до Senior
827 228
