Сервисы вопросники вроде TheQuestion и Яндекс.Кью не слишком честно обращаются с экспертами. Вот ты регистрируешься как, например, программист. Тебе там сразу рассказывают о том, как много людей ждёт именно твоих ответов на их вопросы. «Наконец-то я смогу поделиться своими знаниями с миром!» — думаешь ты.
На деле большинство вопросов (по крайней мере по программированию) делятся на два вида:
1. Какая-то абсолютно невежественная дичь, типа «Как взломать QR код с помощью логарифмов?»
2. Вопрос связанный с очень узкой конкретной задачей на конкретных данных спрашивающего. Всё бы хорошо, но чаще всего вопрос сформулирован очень плохо, потому что это чьё-то домашнее задание или студенческая работа. Нередко спрашивающий хочет сойти за умного и просто нагромождает термины без нужного контекста, типа «Как обрезать дерево решений?» (и всё, больше никаких подробностей в вопросе).
В итоге настоящего «Поделиться знаниями» так и не происходит. Я вот получил ещё в прошлом году статус эксперта на Кью, и забил. Вопросы очень скучные.
#web
https://medium.com/towards-data-science/using-scrapy-to-build-your-own-dataset-64ea2d7d4673
In short, #Scrapy is a framework built to build web scrapers more easily and relieve the pain of maintaining them. Basically, it allows you to focus on the data extraction using #CSS selectors and choosing XPath expressions and less on the intricate internals of how spiders are supposed to work.
#scrapy
Scrapy is a fast high-level #web crawling and web scraping framework, used to crawl websites and extract structured data from their pages. It can be used for a wide range of purposes, from #data_mining to #monitoring and #automated_testing.
https://github.com/scrapy/scrapy
#python#crawler#feapder#feaplat#python#scrapy#spider
Feapder is a simple, powerful Python web scraping framework (Python 3.6+) with four spider types for different needs, plus breakpoint resuming, monitoring alerts, browser rendering, and massive data deduplication. Install easily via pip (basic, render, or full versions), create a spider with one command, and run it to fetch/parse sites like Baidu. A management system handles deployment/scheduling. This saves you time by making scraping fast, reliable, and scalable without building everything from scratch.
https://github.com/Boris-code/feapder
#webScraping#Python#Scrapy
🐍
Scrapy course - Python web scraping for beginners
The Scrapy #Beginners Course will teach you everything you need to learn to start scraping websites at scale using #Python Scrapy.
Topics
- Creating your first #Scrapy spider
- #Crawling through websites & scraping data from each page
- Cleaning data with Items & Item Pipelines
- Saving data to CSV files, #MySQL & #Postgres#databases
- Using fake #user-agents & headers to avoid getting blocked
- Using #proxies to scale up your web scraping without getting banned
- Deploying your #scraper to the cloud & scheduling it to run periodically
🗣️ Joe Kearney.
🔗Link
📢#youtube
⭐️ Resources ⭐️
Course Resources
- Scrapy Docs
- Course Guide
- Course Github
- The Python Scrapy Playbook
-----
Main channel: @repo_science
Coupons: @freecoupons_reposcience
-----