Post #1360

📩 Разработчики и мейнтейнеры ПО с открытым исходным кодом (open source/FOSS) вынуждены прибегать к все более радикальным мерам в связи с растущим трафиком ИИ-ботов и скрейперов. Годами сложившийся симбиоз между владельцами информационных ресурсов и поисковыми системами, работавший на уровне "джентльменского соглашения" при помощи файлов robots.txt (в них описывается, какие страницы и файлы следует игнорировать автоматизированным системам), теперь нарушен из-за резкого роста индустрии ИИ. - ИИ-чатботы и поисковики не перенаправляют трафик на ресурсы, владеющие контентом, нарушая жизненно необходимые каналы получения средств. - В отличие от краулеров Google и др. классических поисковиков, боты новой волны как правило неразборчивы (игнорируют robots.txt) и крайне требовательны к вычислительным и сетевым ресурсам сайтов: после блокировки определенных бот-сетей трафик упал до 97%. - Разработчики и администраторы интернет-проектов небезосновательно называют текущую ситуацию "DDoS-атакой на весь интернет". - Средства блокировки нежелательного трафика разнятся от "ловушек" (tarpits/labirynths) для ботов до широкомасштабного отказа IP-адресам целых стран. - Wikimedia Foundation испытывает аналогичные трудности, предлагает новый механизм доступа к своим ресурсам для "честных" разработчиков ботов. 📌Комментарий экспертов Центра ИИ МГИМО: На фоне ажиотажа гонки ИИ некоммерческие интернет проекты - FOSS, публичные библиотеки и др. - рассматриваются многими как источник данных для обучения моделей или контекста при инференсе. При этом вопрос регулирования бот-трафика редко поднимается законодателями и международными организациями в силу недостатка ресурсов для лоббирования или общественного резонанса по этой проблеме. Параллельная тема использования контента, защищенного авторским правом, по крайней мере, имеет более влиятельных и видимых игроков. Когда ситуация с доступам к сайтам "общественного блага" станет достаточно плачевной, наиболее вероятно, что один из техногигантов предложит им платформу хостинга, которая со временем станет фактической монополией, как это случилось с Github.