#python#crawler#feapder#feaplat#python#scrapy#spider
Feapder is a simple, powerful Python web scraping framework (Python 3.6+) with four spider types for different needs, plus breakpoint resuming, monitoring alerts, browser rendering, and massive data deduplication. Install easily via pip (basic, render, or full versions), create a spider with one command, and run it to fetch/parse sites like Baidu. A management system handles deployment/scheduling. This saves you time by making scraping fast, reliable, and scalable without building everything from scratch.
https://github.com/Boris-code/feapder
Вчера общался в наиприятнейшем коллективе государевых, и не только, людей. Надо было решить некоторые оргвопросы, поэтому в чат была закинута ссылка на гугл-таблицы, чтобы каждый мог отметить себя и работать дальше.
На мое старческое брюзжание, что инициативно на гугле собирать персональные данные русских людей негоже, получил что хотел. Иронию.
Но если серьезно, то сразу же в голове вспыхнуло: мы ведь не осознаем масштаб профайлинга нас самих. Профайлинг — это анализ поведения человека, на основе которого предсказываются его действия. В этот анализ идёт все: вербалика, невербалика, социальные паттерны в конкретных ситуациях и многое другое.
Естественно, ИИ-инструменты насыщают профайлинг каждого из нас тончайшими деталями. Такой цифровой след делает нашу личность уникальной и совокупный массив данных о нас позволяет идентифицировать человека даже без сотового телефона или аккаунта в соцсети. Потому что если на цифровом продукте нет плашки "Ai" или "Нейро", то, будьте уверены, под капотом у него нейросеть, которая анализирует и собирает воедино разрозненные данные.
В краткосрочной перспективе на нас таким нехитрым образом наживается рекламодатель, подсовывая именно то, что вы минуту назад запрашивали у умной колонки или поисковика. В долгосрочной...тут много вариантов, способных испортить аппетит утром.
Кадровый, маркетинговый, бизнес-профайлинг позволяют качественно решать задачи оценки рисков и принятия стратегии. Это если вы используете профайлинг. А если это делается в отношении вас? Да, сегодня мы привычно заливаем обобщенные данные в таблицу, а завтра по привычке взяли и закинули туда конфиденциальные сведения. И это тоже можно просчитать про каждого.
Оценить какие для вас ссылки самые кликбейтные тоже можно. И в нужный момент подсунуть именно такую, чтобы при нажатии вы словили логгер, — не так сложно. Для госслужащих рекомендую все же прочитать мой старый пост про Google и PRISM.
Табличку в итоге перенесли на Яндекс, хоть я и не настаивал. А вот следующая лекция в рамках общества "Знание" будет про профайлинг. Слишком уж там заманчивый компот из социологии, криминалистики, психологии и айти, куда ж без этого.
#google#prism#профайлинг#osint#внк
Вопросик на контроле
Фильм на вечер
Большой брат следит за нами. Тезис от капитана очевидность. Сегодня— да. До появления в московском аэропорту Эдварда Сноудена в массовом сознании было совсем иначе. Обыватель свято верил в тайну переписки, в неприкосновенность личной жизни и всё прочее благостное, шедшее по умолчанию с демократией из Белого Дома.
Привезший кучу материала про систему глобальной компьютерной разведки "PRISM" Сноуден раскрыл секрет Полишинеля. Оказывается, самые популярные сервисы, которые пользователь беззаботно кликает каждый день, работают в интересах Агентства национальной безопасности США.
Пойти против такой системы — это смертный приговор себе. Не взять такую систему себе на вооружение, когда к тебе приехал сотрудник АНБ, — фатальное упущение.
Потом уже выяснится, что "PRISM" — вершина айсберга и является составной частью системы глобальной разведки американцев. Имя ей — "Эшелон". Но это уже совсем другая история.
#prism#nsa#анб#инфобез#osint#кино
Вопросик на контроле