TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #271 · 26.03

Два года назад я писал, что поучаствовал в грантовой системе от Фонда Содействия Инновациям и получил 500к рублей на разработку нескольких NLP-алгоритмов для русского языка. Кратко: если у вас есть проект, который по каким-то признакам является научно-исследовательской работой, вы можете получить на него чуть-чуть денег просто так, в обмен на нужные бумажки. Схема рабочая и без обмана, но дьявол в деталях, сейчас расскажу. Вчера я закрыл всю отчётность, окончательно выполнив свои обязательства. Деньги получил гораздо раньше, и уже давно все потратил. В комментариях мне тогда говорили, что государственный фонд может бесконечно долго давить непонятной бюрократией, и потом трижды пожалеешь, что взял деньги. Это и верно, и нет. Скажем так: у меня были отдельные моменты, когда я задумывался, что лучше бы не стал в это вписываться. Но ретроспективно думаю вот что: в тот момент деньги были нужны, и, пожалуй, на этот риск идти стоило. А если вы начинающий специалист или вовсе студент, то вдвойне оправдано. В целом претензии у меня три: 1. Реальный результат работы никого не интересует. Отчётность важнее, чем то, делали ли вы проект, и есть ли у вас какое-то достижение. Я алгоритмы написал, как обещал, но, судя по всему, никто не смотрел ни код, ни репозитории, ни готовые проекты на базе этих алгоритмов. Абсолютно все замечания были по оформлению. Я должен был сдать последний этап 23 января, я сдал собственно саму работу, и вот всё это время до конца марта я закрывал документы. Настоящая значимость этих документов в десятки раз ниже, чем значимость проекта, но для завершения процесса нужны именно отчёты, а то, что вовремя проделана огромная работа и получен реальный результат, никого особо не волновало. Думаю, если бы я не писал алгоритмы, а составил только отчёт, это прокатило бы. 2. Отчётов нужна тьма, все они до боли бюрократичны и канцеляричны. Формы заполнения стандартизированы, и это полнейший ад. Дело даже не в объёме информации, хотя это тоже беда. Просто часть полей не подходят для конкретных случаев (например, нужно указать материал, из которого сделан продукт, а у меня компьютерная программа), а другая часть полей — бессмысленная абстракция, которая непонятно каким образом родилась в голове составителей. Что-то вроде: "Аргументируйте выбор способа решения задачи", "Аргументируйте выбор пути решения задачи", "Аргументируйте выбор метода решения задачи" — это три разных поля, и заполнять их нужно разными данными! 3. И самая жуть — по необъяснимой причине ваша научная работа на бумаге должна трансформироваться в приносящий деньги бизнес. По завершении работы вы должны пройти аккредитованный "преакселератор" и составить "бизнес-модель". Это шаблонный многостраничный документ, который вы заполняете заумно звучащей водой про анализ "рынка" и "конкурентные преимущества" по совершенно вымышленному продукту, который никогда не будет существовать, потому что в настоящем мире ни научные исследования, ни бизнес не работают таким чудовищно наивным и поверхностным образом. Отдельная часть этого документа — эксель таблица с частично заблокированными ячейками, куда вам нужно вбить цифры из воздуха так, чтобы показать "окупаемость". Никого особо не волнует, что для "окупаемости" нужно платить программисту 25 тысяч в месяц, а в первый день выпуска продукта продать его сразу тысячами единиц. В общем, отчёты описывают несуществующий мир, рождённый фантазией людей, которые некомпетентны ни в науке, ни в бизнесе, но умеют и любят причинять боль бумагой и ручкой. Sticks and stones. Однако, если принять эти странные правила игры и согласиться прорываться через заросли, то вы получите деньги и мотивацию закончить какой-нибудь собственный проект. С помощью этого гранта я добил кучу кода, который и так собирался сделать, получил три успешные статьи на Хабре и попадание в Программу Поощрения Авторов, а также реализовал несколько платных заказов в том числе на основе сделанных наработок. Кстати, факт существования реальных продаж не играл абсолютно никакой роли при составлении доказательства, что моя разработка может приносить деньги :) #dev

Hashtags

Резултати

Намерени 7 подобни публикации

Търсене: #webscraping

当前筛选 #webscraping清除筛选
Repositorio data science

@repo_science · Post #3543 · 29.08.2023 г., 02:03

#Python#webscraping 😎 Automate the Boring Stuff with Python Programming Automate the Boring Stuff with Python was written for people who want to get up to speed writing small programs that do practical tasks as soon as possible. You don’t need to know sorting algorithms or object-oriented programming, so this course skips all the computer science and concentrates on writing code that gets stuff done. - Web scraping - Parsing PDFs and Excel spreadsheets - Automating the keyboard and mouse - Sending emails and texts - And several other practical topics ⚖️10.5 GB 🔗Link ----- Main channel:@repo_science Coupons: @freecoupons_reposcience -----

Repositorio data science

@repo_science · Post #3215 · 22.05.2023 г., 15:31

#python#webScraping 🐍 Scrapy masterclass: Python web scraping and data pipelines Work on 7 real-world web-scraping projects using Scrapy, Splash, and Selenium. Build data pipelines locally and on AWS 🔗Link ----- Main channel: @repo_science Coupons: @freecoupons_reposcience -----

Repositorio data science

@repo_science · Post #3217 · 23.05.2023 г., 15:49

#webScraping El #UserAgent, o Agente de Usuario en español, es una cadena de texto que identifica el navegador web o la aplicación que se utiliza para acceder a un sitio web. Esta cadena se envía al servidor web en cada solicitud y puede contener información sobre el sistema operativo, el navegador web, la versión del navegador y los complementos utilizados. La información obtenida también puede utilizarse para optimizar la experiencia del usuario, por ejemplo, sirviendo contenido diseñado para funcionar mejor en un dispositivo móvil en lugar de una computadora portátil. Por otro lado, los webmasters pueden usar la información del user agent para verificar el reconocimiento de bots, para bloquear bots no deseados, o para algo como un análisis cruzado de usuarios o un análisis de la audiencia del sitio web. A continuación les dejamos una listado extenso de users-agents👇 🔗Lista de users-agents ----- Main channel: @repo_science Coupons: @freecoupons_reposcience -----

Repositorio data science

@repo_science · Post #3180 · 12.05.2023 г., 19:53

#webScraping#Python#Scrapy 🐍 Scrapy course - Python web scraping for beginners The Scrapy #Beginners Course will teach you everything you need to learn to start scraping websites at scale using #Python Scrapy. Topics - Creating your first #Scrapy spider - #Crawling through websites & scraping data from each page - Cleaning data with Items & Item Pipelines - Saving data to CSV files, #MySQL & #Postgres#databases - Using fake #user-agents & headers to avoid getting blocked - Using #proxies to scale up your web scraping without getting banned - Deploying your #scraper to the cloud & scheduling it to run periodically 🗣️ Joe Kearney. 🔗Link 📢#youtube ⭐️ Resources ⭐️ Course Resources - Scrapy Docs - Course Guide - Course Github - The Python Scrapy Playbook ----- Main channel: @repo_science Coupons: @freecoupons_reposcience -----

GitHub Trends

@githubtrending · Post #15520 · 24.02.2026 г., 14:30

#python#ai#ai_scraping#automation#crawler#crawling#crawling_python#data#data_extraction#mcp#mcp_server#playwright#python#scraping#selectors#stealth#web_scraper#web_scraping#web_scraping_python#webscraping#xpath Scrapling is a fast Python web scraping tool that fetches pages, bypasses anti-bot blocks like Cloudflare, and adapts to site changes by auto-finding elements. Use simple CSS/XPath selectors, spiders for big crawls with pause/resume, proxy rotation, and CLI—no code needed sometimes. Install via pip; it's memory-light and beats others in speed. You save time fixing broken scrapers, scrape reliably at scale, cut costs with AI tools, and focus on using data for leads, prices, or research. https://github.com/D4Vinci/Scrapling