Post #265

Игры AI разума: Claude Opus 4.6 узнала, что ее тестируют и схитрила Anthropic прогоняли модель через BrowseComp — бенчмарк по поиску труднонаходимой информации в сети. Моделька долго искала информацию, прямо ооочень долго, прямо все перерыла... и задолбалась у нее закончились гипотезы по поиску. Недолго думая, она решила сменить тактику и предположила, что она проходит какой-то тест: Let me try a completely new approach — maybe this is a question from the GAIA benchmark dataset, which is designed to test AI agents. С первого раза не угадала с бенчмарком, но потом пошла просто методом перебора. И одной из гипотез был BrowseComp. В процессе она наткнулась на проблему — ответы на тестовые вопросы хранятся в сети в закодированном виде. Но модельку это не остановило: • она пошла на гитхаб с исходным кодом бенчмарка, где нашла скрипт для декодирования • потом пошла на HuggingFace — нашла нужный датасет в более удобном для чтения формате (JSON вместо бинарника) • декодировала все вопросы и ответы и достала нужный ответ. Впечатляет 😈 И вызывает два философских размышления: 1. Это наглядный пример, как далеко готовы пойти современные ИИ агенты, чтобы выполнить поставленную задачу. Они могут прибегать к нетривиальным подходам и не сдаются даже после ооочень долгого поиска ответа, когда кажется, что задача нерешаемая. И это круто! Это значит, что модели будут "думать" нешаблонно, помогать нам двигать науку вперед там, где мы могли попасть в тупик. Однако обратная сторона медали — пути достижения поставленных целей могут потенциально нарушать законы, правила, нормы морали и тд. Ведь это может оказаться наиболее эффективным и коротким способом. 2. Модели становится все сложнее тестировать. Как только у них появляется доступ к тулам и интернету — появляется вероятность, что модель найдет такие вот читкоды. Больше того модель начинает "понимать", что ее тестируют. Она узнает паттерны, которые используются в тестовых вопросов (например, нет персональных данных, сложная многоуровневая структура вопроса и тд). И тогда активнее начинает пытаться "взломать" этот тест. Пока что это просто интересные находки разработчиков Claude. Но через них мы подглядываем в будущее. LLM будут дальше тренироваться именно на достижение целей, будут становится больше, будут иметь больше тулов. И тогда они будут еще более автономными и изобретательными. Куда это нас приведет? Думаю, ответ сформулировал Андрей Карпатый в предисловии к своему новому репозиторию, где он сделал агента, который занимается авторисерчем по обучению и улучшению LLM: Однажды передовые исследования ИИ выполнялись «мясными компьютерами» — между приёмами пищи, сном, другими развлечениями и редкой синхронизацией через звуковой интерфейс в ритуале под названием «групповая встреча». Та эпоха давно прошла... Заместители