А вот топы публикаций на Хабре за год, например.
Рейтинг
В топе по рейтингу характерно в основном UGC, и там либо очень болезненные нетехнические темы (моя про собесы, ниже про ИИ и ненормальность), либо очень интересно написанные технические.
Прикольно, что топ-2 статья про 2ГИС, где я теперь работаю, и этим событием заканчивается моя статья выше про собесы. Можно читать сверху вниз, сквозной сюжет. Но про 2ГИС не моя, была ещё раньше: статья о фейковых отзывах, очень годная, вроде как наши сразу взяли в работу, как она появилась.
И не могу не заметить топ-6 статью, где автор рассказывает, как его задолбала ИИ-истерия везде, и в айти особенно.
Просмотры
В топе по просмотрам хайповая фигня, куда либо компании льют траффик (ИИ), либо просто приходят залётные юзеры из поиска (про вотсап). Там вообще почти весь топ это вотсап и макс, скукота.
Комментарии
Ожидаемо политота и холиварные топики. Полит-срачи вообще очень затягивающая штука, я попадаю в них чаще, чем хотелось бы, к сожалению. И я прям иногда по рукам себя бью, чтобы не писать политически окрашенные посты в этот блог, даже если тема кажется мне прям супер однозначной и не допускающей никакой дискуссии.
В целом на Хабр оказывается написали 50к материалов за год (новости + статьи). Многие дублируют туда свои личные телеграм-каналы или вообще постят любой медиа-мусор пачками. Но даже с учётом этого 50к это прям очень много.
#web@clockstackwheels
#python#crawler#feapder#feaplat#python#scrapy#spider
Feapder is a simple, powerful Python web scraping framework (Python 3.6+) with four spider types for different needs, plus breakpoint resuming, monitoring alerts, browser rendering, and massive data deduplication. Install easily via pip (basic, render, or full versions), create a spider with one command, and run it to fetch/parse sites like Baidu. A management system handles deployment/scheduling. This saves you time by making scraping fast, reliable, and scalable without building everything from scratch.
https://github.com/Boris-code/feapder
#python#crawler#crawling#framework#hacktoberfest#python#scraping#web_scraping#web_scraping_python
Scrapy is a powerful tool for extracting data from websites. It works on many platforms and requires Python 3.9 or higher. Scrapy is free, stable, and can handle complex tasks efficiently. It allows you to manage multiple requests at once, making it fast and efficient for large-scale data extraction. Scrapy also supports various formats for storing data and has features like auto-throttling to prevent overwhelming websites. This makes it a great choice for users who need to collect data from many websites quickly and reliably.
https://github.com/scrapy/scrapy
#python#ai#ai_scraping#automation#crawler#crawling#crawling_python#data#data_extraction#mcp#mcp_server#playwright#python#scraping#selectors#stealth#web_scraper#web_scraping#web_scraping_python#webscraping#xpath
Scrapling is a fast Python web scraping tool that fetches pages, bypasses anti-bot blocks like Cloudflare, and adapts to site changes by auto-finding elements. Use simple CSS/XPath selectors, spiders for big crawls with pause/resume, proxy rotation, and CLI—no code needed sometimes. Install via pip; it's memory-light and beats others in speed. You save time fixing broken scrapers, scrape reliably at scale, cut costs with AI tools, and focus on using data for leads, prices, or research.
https://github.com/D4Vinci/Scrapling