Я всегда был уверен, что системы рекомендаций работают так плохо, потому что это слишком сложная задача. Владельцы площадок бьются с алгоритмами, машинным обучением, деревьями решений и взвешенными суммами, но получается всё равно херня, и человеку могут рекомендовать нерелевантный бред (и, что ещё хуже — не рекомендовать интересный для него контент).
Кажется, хорошо работают только рекомендации на Ютубе, но этому есть объяснение: контент на Ютубе более длительный и дорогой. Его сложнее производить, он выходит реже. Качественный ролик на Ютубе не будет говном практически независимо от темы, на которую он снят. А ещё меньшее число объёмных роликов проще кластеризовать и можно предлагать пользователю в небольших количествах.
Но если мы откроем YouTube Shorts (это очередной аналог тиктока с короткими вертикальными видео), то заметим, что качество рекомендаций упало сразу на два порядка: какие-то тупые попсовые шутки, "удивительные" факты из жизни, завлекающие отрывки из фильмов "код смотри в телеграм-канале", озвучка анекдотов и прочий мусор. Алгоритмы уже совсем не справляются с тем, чтобы предложить что-то годное, не говоря уже о релевантности конкретно мне, хотя история моих просмотров и вкусов Ютубу, очевидно, известна.
Тем не менее, иногда разработчики могут не только не уметь, но и не хотеть писать нормальные рекомендации. Вот ВК предложил мне BadComedian в блоке "Интересные авторы". Оставим в стороне, что Бэдкомендиан это ютубер, и у него в ВК в лучшем случае будут репосты ссылок на Ютуб. Но мне предлагают не паблик, а личную страницу.... на которой не было записей с сентября 2021 года. Нет совершенно никакого смысла быть подписанным на личную страницу Бэдкомедиана сейчас. Кажется, единственный критерий, на котором основывались эти рекомендации: общее число подписчиков.
Как должны работать рекомендации на самом деле? Алгоритмически я бы оценивал частоту постов (кстати, чрезмерно частые это тоже плохо, должно работать в минус), оценивал бы, является пост просто публикацией внешней ссылки на другой ресурс, является ли репостом паблика, и смотрел бы, сколько прошло времени с последней записи на странице автора. Наверное, в качестве коэффициента с небольшим весом можно добавить ещё объём контента в посте и активность людей (лайки + комментарии). Причём, делается это достаточно просто, никакой ML не нужен. Даже такая оценка, не берущая в расчёт тематику страницы, всё равно лучше, чем "Просто покажем людей, на которых когда-то подписалось куча народу, и им до сих пор лень отписаться после прекращения активности автора".
По крайней мере теперь меня не удивляет, что хвалёные Клипы постоянно подсовывают мне какой-то подростковый шлак вместо крутых видео с полётами на FPV-квадрокоптерах. YouTube Shorts по крайней мере пару раз такие вещи предлагал, а вот Клипы вообще ни разу (станицу Клипов я не открываю, разумеется, но в ленте новостей встречаются блоки с автовоспроизведением).
Кстати, на скрине есть второй автор — Стас "Ай как просто". Его банят на Ютубе за критику западной модели текущих событий, и он пишет: "Буду создавать каналы-однодневки, куда деваться". То есть у него даже мысли не возникает, что какая-то ещё площадка может служить его целям. Ну с таким отношением других площадок к рекомендациям — понятно.
#web
«Ночные огни». Как отслеживать войны, катастрофы и корабли ночью с помощью данных NASA
#OSINT
📣Мы продолжаем цикл постов, посвящённый OSINT, GEOINT и другим инструментам современной цифровой разведки
Аналитический центр КЦПН перевёл крайне полезное видео о том, как данные о ночном освещении позволяют анализировать события в реальном времени: военные конфликты, стихийные бедствия, отключения электричества и даже перемещение судов в океане
В этом видео на основе реальных примеров демонстрируется, как настроить NASA Worldview, NASA Black Marble, VIIRS Night Lights и какие данные можно из них «вытащить»
🔹Для работы с данными достаточно зайти на сайт NASA Worldview. Интерфейс предлагает множество слоёв информации: от пожаров до уровня поверхностных вод. Но нас интересует раздел «Black Marble» («Чёрный мрамор») – система ночных снимков Земли
Как начать
1⃣Выберите слой «Black Marble Nighttime Blue/Yellow Composite» для лучшей визуализации
2⃣Используйте нижнюю панель для выбора конкретных дат
3⃣Учитывайте облачность – иногда приходится искать более ясные дни
✔️Совет: для детального анализа попробуйте также режим «Black Marble Sensor Radiance» (чёрно-белый), который лучше показывает движение кораблей
Профессиональные советы для анализа
1⃣Всегда проверяйте несколько дат. Если огни исчезли в один день, убедитесь, что это не облачность. Изменения должны быть устойчивыми
2⃣Используйте режим сравнения. Функция «Start Comparison» позволяет наложить снимки разных периодов и оценить динамику
3⃣Сочетайте режимы отображения. Цветные снимки лучше показывают детали городов, чёрно-белые – это перемещение кораблей
4⃣Создавайте анимации. Это помогает увидеть паттерны движения судов или восстановление инфраструктуры после катастроф
🔹Данные NASA Black Marble – мощный инструмент для журналистов, исследователей и всех, кто интересуется геополитикой. Бесплатный доступ к этим снимкам позволяет проверять официальные заявления и находить скрытые закономерности в глобальных событиях. Как подмечает автор видео, такие технологии стирают границы между профессиональной разведкой и гражданскими исследованиями. Для получения новых техник анализа автор рекомендует подписаться на его Substack-бюллетень, где публикуются актуальные OSINT-методики и инструменты
❗️Мы очень рекомендуем осваивать эти инструменты нашим народным осинтерам, военным блогерам и прочим информационным добровольцам. Особенно это может быть интересно сейчас в контексте наших массированных и последовательных ударов по энергетике врага. Такие осинт-инструменты будут давать более точные и глубокие данные на фоне классических сводок и фотографий из интернета, ведь ими очень хорошо отслеживать начавшиеся блэкауты на пока ещё неосвобождённых территориях
🫡Знакомьтесь, изучайте, осваивайте, делитесь информацией
🚀Подпишитесь на наш канал чтобы не пропустить следующие публикации!
Cogito ergo vinco
МЫСЛЮ, СЛЕДОВАТЕЛЬНО, ПОБЕЖДАЮ!
🔎 Uscrapper. Собираем информацию с веб-сайтов.
• Uscrapper — open source инструмент командной строки, который поможет найти и получить данные с веб-сайтов:
- Адрес электронной почты;
- Ссылки на социальные сети;
- Имена людей;
- Геолокацию;
- Номера телефонов.
• Помимо парсинга различной информации, автор реализовал функционал выгрузки подробного отчета, который содержит найденную информацию. Кроме того, Uscrapper оснащен необходимыми модулями для обхода анти-парсинга и поддерживает технологии для извлечения информации из всех ссылок в пределах одного домена.
➡ Информация по установке, подробное описание инструменты и другая информация: https://github.com/z0m31en7/Uscrapper
#OSINT
🧅 DarkNet OSINT.
🖖🏻 Приветствую тебя user_name.
• Даркнет может быть таким же отличным источником информации, как и Google. Главное — уметь искать. Сегодня поделюсь полезными и актуальными ссылками на различные ресурсы, благодаря которым ты сможешь найти нужную информацию в сегменте onion.
• Поисковики:
- Ahmia;
- GDark;
- Sentor;
- Kraken;
- TorDex;
- Hoodle;
- Phobos;
- TorLand;
- Excavator;
- Our Realm;
- Devil Search;
- Onion Search Engine.
• Каталоги:
⚠️ Перечисленные ниже ресурсы могут быть использованы для мониторинга рынка даркнета. Каталоги могут содержать много мертвых ссылок, в зависимости от того, как часто они обновляются. Некоторые сайты-агрегаторы укажут, активен ли данный домен в настоящее время, что может сэкономить вам много времени.
- Signpost;
- Dark Eye;
- Tasty Onions;
- Dark Catalog;
- Hidden Links;
- Onion link list;
- Hidden Reviews;
- Deep Links Dump;
- Onion link online test;
- Deep Link Onion Directory.
• Onion Web Hosting:
- BitVPS;
- Kaizushi;
- SporeStack;
- OnionName;
- Hosting Mate;
- Ablative Hosting;
• Информация для изучения "Tor: от азов до продвинутого уровня":
- Служба Tor в Linux;
- Опции тонкой настройки Tor;
- Как сделать свой прокси с Tor’ом в Windows;
- Подсказки по использованию браузера и службы Tor;
- Как перенаправить весь трафик через сеть Tor в Linux;
- Анонимные сканирования с Nmap, sqlmap и WPScan через Tor;
- Настройка скрытого сервиса Tor в Debian (Kali Linux, Linux Mint, Ubuntu);
- Tor в Windows: установка службы, создание скрытого сервиса, использование браузерами и для пентеста.
• Различная документация для обучения:
- Security in a box;
- Руководство Tor;
- Hosting onion services;
- Документация Whonix;
- Документация по ОС Qubes.
• Github tools:
- TorBot;
- Onion Search;
- The Devils Eye;
- Onion Ingestor;
❗️Список не претендует на полноту[email protected].#OSINT
#OSINT Поговорили о кибердетективах и не только. Что было из интересного:
1️⃣ Популярные логеры
2️⃣ Маскировка логеров ссылкой
3️⃣ Маскировка логера редиректом
4️⃣ Маскировка логера в файле
5️⃣ Маскировка логера в онлайн-сервисе
6️⃣ Маскировка логера в блоге
7️⃣ Маскировка логера в Telegram-боте
8️⃣ Маскировка логера в email
9️⃣ Получение данных о геолокации
🔟 Рабочее место и приложения кибердетектива
@tomhunter
#OSINT Новая статья вышла у меня на Хабре. Речь пошла о многообразных расширениях для браузера Chrome, которые позволяют превратить его в достаточно эффективный инструмент OSINT-расследователя.
Читать: https://habr.com/ru/company/tomhunter/blog/664482/
@tomhunter
Просто соберите информацию: 99% «конкурентных разведок» тонут в данных, а не в инсайтах
Конкурентная разведка (КР) - это не покупка аналитического отчёта у маркетолога. Это не про «дайте мне все данные, я сам разберусь».
КР - это система превращения информационного шума в управленческие решения.
Из чего на самом деле состоит эта система:
🟩Координационный центр - мозг, который работает напрямую с первым лицом. Если ваша «разведка» завалена запросами от продаж на «узнайте телефон директора» - вы потеряли фокус. Её цель - стратегия, а не тактический спам.
🟩Добывающий блок - это не хакеры в балаклавах, а специалисты, которые знают, где лежит информация в открытом доступе, и как легально получить к ней доступ. Их инструменты: публичные реестры, отраслевые форумы, данные госзакупок, судебные базы и даже… грамотные холодные звонки.
🟩Аналитический блок - те, кто превращает 1000 ссылок из Google в одну страницу выводов. Если ваш аналитик не задаёт вопрос «а зачем это нужно тому, кто принимает решение?» - он просто архивариус.
🟩Обеспечение - от IT-инфраструктуры до легальных баз данных. Без этого вы собираете информацию в блокнотик, а потом ищете его две недели.
Фишка номер 1:
КР - процесс циклический и замкнутый.
Собрали → проанализировали → передали → решение принято → рынок дернулся → снова собираем.
Если цикл рвётся — вы просто коллекционер фактов.
Фишка номер 2:
80% нужной информации лежит в открытом доступе. Остальные 20% - в головах людей, которые иногда любят поговорить.
Искусство - задать правильный вопрос в правильное время, а не «влезть в почту».
❤️❤️
@FinIntelLab
#OSINT
👀Структура и смысл. Как писать разведотчёты по OSINT, которые будут читать.
Сбор данных — это азарт охоты. Но настоящая ценность — в анализе и отчётности. Именно здесь разрозненные факты превращаются в историю, на основе которой можно принять решение.
Вот каркас профессионального OSINT-отчёта:
1. Мышление: Анализ ≠ пересказ.
Инструменты вторичны. Первичен — анализ. Ваша задача — выявить паттерны, связи и значимость. Расскажите историю, подкреплённую доказательствами. Неизвестное так же важно, как и известное. Честно указывайте на пробелы. Используйте методики (например, ACH) для минимизации когнитивных искажений.
2. План: Ответьте до начала.
✅Цель: Что нужно узнать?
✅Аудитория: Кто будет читать? Технарь, юрист, топ-менеджер? Язык и глубина детализации зависят от этого.
✅Скоуп: Чёткие границы (гео, время, тема). Укажите ограничения метода.
3. Анатомия отчёта: BLUF и логика.
Структура должна вести читателя за руку.
▶️BLUF (Bottom Line Up Front): Суть выводов и рекомендаций — в первых двух абзацах. Решение часто принимают здесь.
▶️Введение: Цель, скоуп, контекст.
▶️Методология: Как, какими инструментами и с каких источников собирали данные. Не просто список: «Использовал Maltego для построения связей между X и Y». Оцените надёжность источников.
▶️Выводы: Факты. Группируйте по темам, а не в хронологию.
▶️Анализ: Превращение данных в интеллект. «Почему это важно?» Используйте визуализацию (сети, таймлайны) для наглядности связей.
▶️Оценка: Ключевые суждения с указанием уровня уверенности (например, «высокая вероятность»). Рассмотрите альтернативные объяснения.
▶️Рекомендации: Конкретные, выполнимые и приоритизированные шаги.
▶️Приложения: Технические детали, скриншоты, полная документация по источникам.
4. Документирование: Требуйте повторяемости.
Один источник — интересно. Два — заслуживает внимания. Три независимых источника — основа для вывода. Фиксируйте не только «что», но и «когда получено». Если информацию нельзя проверить, не включайте её в отчёт.
5. Стиль: Ясность и точность.
▶️Для руководства: Суть, риски, рекомендации, стоимость бездействия.
▶️Для техспецов: Детали метода, скрипты, сырые данные.
Избегайте воды и жаргона. Каждый термин — объяснение.
Шаблон — это каркас, а не клетка. Адаптируйте под задачу. ИИ — мощный инструмент, но его применение и ограничения должны быть прозрачно описаны в методологии.
Ваш отчёт — это конечный продукт. Он должен не констатировать, а направлять к действию. В мире, переполненном данными, этот навык — ваша главная валюта.
@FinIntelLab
❤️❤️
#OSINT
👀США собирают пятилетнюю историю соцсетей у безвизовых путешественников
Таможенная и пограничная служба США (CBP) вывела практику сбора данных на новый уровень. Теперь путешественники из 42 стран, въезжающие по безвизовому режиму, обязаны раскрывать при заполнении анкеты пятилетнюю историю своих социальных сетей.
Кроме аккаунтов в соцсетях, CBP запрашивает:
▶️Адреса электронной почты, использовавшиеся за последнее десятилетие.
▶️Номера телефонов за последние пять лет.
▶️Подробную информацию о ближайших родственниках.
Государство решило максимально упростить задачу для OSINT-аналитиков, попросив путешественников самостоятельно агрегировать и предоставлять данные в структурированном виде. Получается своеобразный «опросник для самодоксинга».
Зачем это нужно❓
Официальная цель — усиление безопасности и проверки благонадёжности въезжающих. Собранная информация будет использоваться для выявления потенциальных связей с экстремистскими организациями, проверки на ложность предоставленных сведений и построения более полной цифровой картины заявителя.
@FinIntelLab
❤️❤️
#OSINT
Интересную соцсеть "Сетка" запустили ребята из HH, достаточно в своем профиле указать в местах работы любую компанию, чтобы получить доступ к списку ее сотрудников, пользовавщихся HH.
Данные тех, кто еще не добавился - не отображаются, ФИО скрыты звездочками (кроме первых букв), а аватарки размыты, а из сетки себя можно скрыть... Но как мы помним: любая аккумуляция данных в одном месте повышает ее ценность и создает дополнительные риски..
#OSINT специалистам Сетка на заметку
З.Ы. из ФСБ и СВР в сети пока никого