Post #797

ARC-AGI-3 от Франсуа Шоле: люди проходят все мини-игры без правил с результатом 100 %, лучший AML-агент набирает 2.78 %, большинство — 0 % Тест не объясняет правил: нужно самому понять цель, освоить управление и пройти уровень Методологию критикуют: эталон — не средний человек, а один из лучших; эффективность считается по квадрату (прошёл за 100 ходов вместо 10 = 1 % балла); Агенту не сообщают, что управление нужно найти самостоятельно Но именно так и должно работать измерение интеллекта