🐍Парсинг сайтов на Python
Одна из самых востребованных задач на фрилансе — парсинг, представляющий из себя автоматический сбор данных с веб-сайтов. В этом плейлисте автор создал парсеры популярных сайтов, учитывая все нюансы, которые возникают про разработке.
1. Быстрый парсинг несколькими процессами с экспортом в csv
[48:14]
2. Парсим объявления на Avito
[47:38]
3. Парсинг Avito: собираем номера телефонов
[33:08]
4. Приемы работы с библиотекой BeautifulSoup
[38:54]
5. Как использовать прокси и менять User-Agent
[43:31]
6. Анализ "ненормальных" сайтов
[22:31]
7. Как скачивать картинки и другие файлы
[27:08]
8. Работа с ошибками на примере нерабочих парсеров
[38:16]
#парсинг#python
Добро пожаловать в мир продвинутогоPython программирования: @pro_python_code
В канале вы найдет :
📃Статьи ,
📚Книги
👨💻Код
🔗Ссылки
и много другой полезной информации
#Python#Django
#Machine Learning #DataScience
#Django#Advancedresearch
1 канал вместо тысячи учебников и курсов, подписывайтесь: 👇👇👇
🐍@pythonl
Φ-Down Sentinel-1 Burst Search
Φ-Down — библиотека Python, которая упрощает доступ к данным дистанционного зондирования Земли из Copernicus Data Space Ecosystem (CDSE). Она предоставляет интерфейс для поиска, фильтрации и загрузки спутниковых снимков различных миссий Sentinel и сопутствующих наборов данных.
В новой версии (v0.1.20) Φ-Down поддерживает поиск по “импульсам” (bursts) данных Sentinel-1 SLC, что помогает в создании временных рядов для радарной интерферометрии (InSAR) и во многих задачах регионального мониторинга, не требующих большого охвата.
Поиск по burst’ам активируется настройкой burst_mode=True в запросе. Реализована фильтрация по burst_id, swath, поляризации и относительной орбите (relative orbit).
🖥Jupyter-блокнот с примером использования Sentinel-1 Burst Search
#sentinel#python#InSAR#SAR#софт
#foydali#python#backend#dasturlash#top10
Haqiqiy Senior Python dasturchilar har kuni ishlatadigan TOP-10 funksiya🤫
1️⃣dict.get(key, default)
Lug'atdan ma'lumot olishning eng xavfsiz yo'li. Kalit topilmasa, dastur qotib qolmaydi (KeyError bermaydi).
2️⃣ json.loads()vajson.dumps()
API bilan ishlashning yuragi. JSON formatdagi ma'lumotlarni Python obyektiga o'tkazish va aksincha.
3️⃣enumerate(iterable)
Sikl (for) ichida elementning o'zi bilan birga uning indeksini (tartib raqamini) ham olish uchun ishlatiladi.
4️⃣isinstance(obj, class)
Obyektning turini tekshirish uchun. Backend'da kelayotgan ma'lumot to'g'ri turdami yoki yo'q, shuni aniqlaydi.
5️⃣any()vaall()
Mantiqiy tekshiruvlar ustasi! Ro'yxatdagi kamida bitta element True bo'lsa any(), barchasi True bo'lsa all() ishlaydi.
6️⃣getattr(), setattr(), hasattr()
Obyekt xususiyatlari (atributlari) bilan dinamik ishlash. Obyektda qandaydir xususiyat bor-yo'qligini tekshirishda juda asqotadi.
7️⃣zip(*iterables)
Ikkita yoki undan ko'p ro'yxatlarni biriktirib, bir vaqtda aylanib chiqish imkonini beradi.
8️⃣ map()vafilter()
Katta ma'lumotlar to'plamini (massivlarni) tezkor qayta ishlash va kerakli shart asosida filtrlash uchun.
9️⃣super()
Obyektga yo'naltirilgan dasturlashda (OOP) ota-klassning metodlarini voris-klass ichida chaqirish uchun zarur.
🔟open()(with mantiqi bilan)
Fayllarni o'qish va yozish uchun. with bilan ishlatilganda, jarayon tugagach faylni o'zi avtomatik yopadi.
Siz ushbu ro'yxatga yana qaysi funksiyani qo'shgan bo'lardingiz? Izohlarda yozib qoldiring!
💻@dasturlash_hayoti— dasturchilar hayoti va IT memlari aralash kanal😉
Работа по анализу пользователей в "телеге" на фоне удушения зелёного конкурента от авторов метавселенной возвросла по совету объему.
Скажем, ведёте вы свой канал с чатом, а туда начали добавляться, снова удаляться и снова добавляться новые пользователи. Все бы ничего, но они так и сыплют спам-реакциями. Ладно, если это бот, а если это реальный человек, который специально делает "анонимные" пакости?
Не выходя из уюта телеги, можно использовать некоторые боты. Добавив СангаМата в чат, вы будете в онлайне видеть все изменения имён пользователей. Если Лера вдруг станет Игорем, бот оповестит об этом всех участников чата. Эти изменения можно будет поискать в двух других сервисах ниже.
Сервис Telesint работает с юзернеймом, айди, эмодзи, стикерам, ссылкам на группы. Незаменимый инструмент по аналитике групп, включая выгрузку аудитории групп. Также может искать похожие по контенту группы. Еще покажет в каких открытых чатах и группах состоит пользователь, айди которого вы скормили боту.
По умолчанию три бесплатных запроса ваши. Если нужно больше, то надо доплатить.
Funstat/Telelog выполняет схожие функции. Вдруг пользователь без юзернейма, а ваш клиент не позволяет вытащить айди пользователя. Тогда можно переслать сервису сообщение юзера или даже прикрепить и отправить сохранённый у вас контакт. Поиск юзеров по имени, поиск по тексту, обращение к каталогу чатов — все этот Фанстат сделает достаточно быстро.
Подобные сервисы не только нужны тем, кто анализирует рынок и чаты "телеги", но также тем, кто отвечает за безопасность и вступает в борьбу с диванными анонимусами.
#osint#пробив#telegram#telesint#telelog#funstat#деанон#инфобез#парсинг#внк
Вопросик на контроле
https://github.com/bear/python-twitter/blob/master/get_access_token.py
Python #Twitter
A Python wrapper around the Twitter API.
By the #Python-Twitter Developers
Downloads Documentation Status Circle CI Codecov Requirements Status Dependency Status
Introduction
This library provides a pure Python interface for the Twitter API. It works with Python versions from 2.7+ and Python 3.
Twitter provides a service that allows people to connect via the web, IM, and SMS. Twitter exposes a web services #API and this library is intended to make it even easier for Python programmers to use.
Успешное завершение уникального проекта: Студенты Университетского колледжа МГИМО освоили цифровые компетенции в Школе 21 Экосистемы СБЕРа! 🚀
В июне студенты Университетского колледжа МГИМО, обучающиеся по специальностям «Информационные системы и программирование», «Банковское дело» и «Право и организация социального обеспечения», успешно завершили практическое обучение в Школе 21 Экосистемы СБЕРа.
Этот интенсивный курс был посвящен основам программирования на языке Python 🐍 и реализован по инновационной методологии Peer-to-Peer. Такой подход позволил получить и закрепить новые знания, проявить самостоятельность, активность и лидерские качества, взаимно проверяя проекты. От "Hello world" до разработки API и Telegram-ботов — прогресс был впечатляющим!
Совместный проект МГИМО-Одинцово и Школы 21 помог студентам развить навыки планирования времени и выбора приоритетов, что крайне важно в современной цифровой среде.
Особые отличия:
✨ Лучшими студентами проекта были признаны Соловейкина М. и Алев Б., получившие специальные подарки.
🏅 19 студентов были отмечены сертификатами за выполнение заданий сверх нормы, и отрадно, что среди них есть как будущие IT-специалисты, так и представители банковского дела!
🎓 Для 48 студентов открылась возможность подать заявку в Школу 21 на получение диплома дополнительного профессионального образования по цифровой специальности после окончания колледжа.
Этот проект в очередной раз подтвердил: успех в современном мире требует не просто владения одной профессией, а их "умного" сочетания с цифровыми технологиями.
#МГИМОКолледж#Школа21#СБЕР#ЦифровыеНавыки#Python#ОбразованиеБудущего
#Python#TensorFlow
🐍
TensorFlow Developer Certificate in 2023 Zero to Mastery
Pass the TensorFlow Developer Certification Exam by Google. Become an AI, Machine Learning, and Deep Learning expert!
⚖️33Gb
🔗 Link
-----
Main channel:@repo_science
Coupons: @freecoupons_reposcience
-----