🐍Парсинг сайтов на Python
Одна из самых востребованных задач на фрилансе — парсинг, представляющий из себя автоматический сбор данных с веб-сайтов. В этом плейлисте автор создал парсеры популярных сайтов, учитывая все нюансы, которые возникают про разработке.
1. Быстрый парсинг несколькими процессами с экспортом в csv
[48:14]
2. Парсим объявления на Avito
[47:38]
3. Парсинг Avito: собираем номера телефонов
[33:08]
4. Приемы работы с библиотекой BeautifulSoup
[38:54]
5. Как использовать прокси и менять User-Agent
[43:31]
6. Анализ "ненормальных" сайтов
[22:31]
7. Как скачивать картинки и другие файлы
[27:08]
8. Работа с ошибками на примере нерабочих парсеров
[38:16]
#парсинг#python
RsS iS dEaD LOL: discover RSS Feeds of your follows on Mastodon
频道曾经提及过一个叫 FeedsMage 的服务,用于从你 fo 的推友的 Bio 里找链接,再从链接里找 Feed ,最后可生成一个 #OPML 文件。RsS iS dEaD LOL 则是长毛象版的 FeedsMage,从你 fo 的 Fediverse 用户的 Bio 里找链接,发现 RSS,然后可生成 #OPML:
https://rss-is-dead.lol/
例如我的:
https://rss-is-dead.lol/user?profileUrl=https%3A%2F%2Fmastodon.social%2Fusers%2FAboutRSS
发现于作者嘟文:
https://mastodon.social/@paulcuth/112178886374464145