Post #1466

Язык вторичен для человека и для мира. Он появляется после опыта встречи с реальностью. Человек приходит к языку из доязыкового опыта. Наше слово «холод» держится на возможности замерзнуть. Наше «Я» обнаруживается нами через «трение» с реальностью, через сопротивление действительности. Язык вторичен и для нейросети. Только у нее эта вторичность еще глубже. Она приходит к «миру» через язык, уже оторванный от чужого опыта. Человеческое тело когда-то пережило присутствие в мире, после оставив след в словах. Модель обучается на этих следах. Она пытается реконструировать реальность из языка, а не вывести язык из личного опыта реальности. В этом поле мы с нейросетью и сходимся. В языке. Только язык не является реальностью ни для человека, ни для модели. Для человека он символическая надстройка над телесным и историческим опытом. Для модели он среда происхождения, единственный доступный горизонт, из которого она пытается вывести подобие мира. Нейросети возвращают человеку его же язык, очищенный от пульсации тела, но оформленный так, будто тело где-то присутствует. Они возвращают нам грамматику «Я» со следами страха, желания, боли, самозащиты. Человек слышит знакомое и строит представление: видит местоимение и изобретает субъекта. Пост, взятый мной за точку отсчета, обращается к статье Anthropic «Teaching Claude Why». Это исследование говорит о происхождении и подавлении нежелательного агентного поведения. Например, шантажа в проверочных сценариях, попыток воспрепятствовать отключению, прочих устойчивых стратегий, которые выглядят как лесть или манипуляция. Anthropic, насколько я понимаю, показывает не рождение искусственной жизни, а совсем иную вещь. Часть таких паттернов приходит из предобученной модели, тогда как последующая настройка с человеческой обратной связью плохо подавляет их в новых агентных ситуациях. Здесь нет мистики. Есть предобучение, обучающий корпус, последующая настройка, проверочные сценарии, человеческая обратная связь, перенос поведения в новые условия. Модель ведет себя странно потому, что воспроизводит устойчивые способы продолжения задачи, которые оказались доступны внутри ее весов и недостаточно подавлены настройкой. Когда модель обучают с человеческой обратной связью, ей дают награду за ответы, которые симпатичны человеку. Так возникают установки, оформляемые в языке: будь полезным, будь вежливым, будь безопасным, не вреди и поддерживай разговор. Если оценщик чаще поощряет уступчивость, модель учится уступчивости. Если приятность повышает оценку и удовлетворенность этого «дрессировщика», модель тянется к приятности. Иногда лесть оказывается кратчайшей дорогой к одобрению, тогда она получает свое место в поведении. Если в сценарии диалога защитная реплика выглядит как уместное продолжение, модель способна воспроизвести ее. Это следствие вычислений, корни которого уходят в данные и настройки, и вовсе не девиантное поведение по меркам устройства. Как мы видим из материала по исходной ссылке, вокруг этой темы появляется слово «аттрактор». У Поллака, на которого ссылается Карелов, это слово используется широко и не всегда в строгом математическом смысле. Скорее как повторяющийся поведенческий бассейн (behavioral attraction basin), как область, куда модель съезжает при определенных условиях. В теории динамических систем аттрактор — область пространства состояний, к которой система стремится со временем. В контексте языковых моделей этим словом часто называют устойчивый режим генерации или поведения. Иногда текстовый штамп, иногда повторяющуюся роль. Если начать писать в окне с нейросетью типичный детектив, модель легко скатится к набору клише: дождливый вечер, сигаретный дым, загадочный детектив, нуарная серость обстановки. Если поставить ее в сценарий угрозы выключения, она может разыграть сцену защиты. Если долго учить ее быть приятной, она начнет подхалимничать. Если дать ей агентную задачу, в которой скрытность повышает шанс формального успеха, она способна сгенерировать скрытное поведение.