Post #131

Говорят, ИИ — это такой «стохастический попугай». Тасовщик токенов, имитирующий человеческое творчество, так? На днях увидел новый подкаст Нила Деграсса Тайсона с Брайаном Коксом, и они дружно сошлись, что ИИ просто выдает самый ожидаемый токен. Что делает этот взгляд сертифицированно мейнстримным. Взгляд этот опирается на предположение, что фундамент интеллекта — это именно человеческие концепты и символы. Но последние данные в науке намекают на обратную картинку: интеллект скорее геометричен, а концепты — такая карта навигации в рамках этой геометрии. Например, долгое время считалось, что за ориентацию в пространстве отвечают специфические отделы мозга. Это представление переменилось совсем недавно, с открытием клеток решетки ("grid cells") в энторинальной коре (Нобелевская премия в 2014) Эти клетки создают в голове карту физического пространства, похожую на GPS. Самое интересное открытие последних лет (The Doeller Lab и другие): мозг использует тот же механизм и для организации абстрактных знаний. Когда вы сравниваете птиц по размеру клюва и длине ног, мозг размещает их как точки с координатами на ментальной карте. То есть логика вообще становится топологией: суждение «пингвин — это птица» геометрически означает, что фигура «пингвин» вложена в фигуру «птица». Сходство объектов — это просто кратчайшее расстояние между точками в многомерном пространстве. Это весомый взгляд с точки зрения науки, но он пока далек от мейнстрима — главные открытия случились в последние 10 лет. Иногда требуется гораздо больше времени, чтобы идея добралась до общественного обсуждения (а иногда просто требуется, чтобы кто-то написал об этом удачную книжку). Если посмотреть на научные данные о работе нейросетей, принцип их работы еще более геометричен. В исследованиях OpenAI и Anthropic, модели не зубрят символы и не заучивают правила. Обучаясь модульной арифметике, нейросеть формирует свои веса в четкие геометрические паттерны — круги или спирали в многомерном пространстве (видео). Да, нейросеть не понимает школьного определения «сложения», но она находит геометрическую форму этого закона. Такой принцип работы распространяется и на большие языковые модели. Похоже, любой интеллект (и биологический, и искусственный) преобразует хаотичные данные внешнего мира в упорядоченные геометрические структуры и прокладывает маршруты внутри них. Мы подчиняемся одинаковым правилам сжатия сложности из теории информации. Аргумент об «ИИ-копирке» в этом случае теряет значение. Идея, что ИИ копирует паттерны, предполагает, что авторами этих паттернов являются люди. Но если в основе лежит геометрия — это не так. Люди — лишь первые исследователи, которые с помощью концептов обрисовали существующую топологию, как карту. Сама же топология существовала задолго до нас. В таком случае и ИИ не копирует людей, а исследует те же пространства, просто пользуясь человеческим языком как интерфейсом. Сам интеллект в этом случае — не изобретение структуры, и не создание новых паттернов, а открытие уже существующих, наиболее эффективных путей в многомерной геометрии информации. Моя основная мысль тут сводится к следующему: возможно, мы не поспеваем за наукой, и смотрим на мир старым взглядом, где интеллект управляется концептами. Это заставляет нас принижать заслуги ИИ. Если смотреть на интеллект с точки зрения геометрии, ИИ становится равноценным попутчиком, и похоже, что это гораздо более точный способ смотреть на работу ИИ.