Post #1468

Автор ИКЖИ заранее постулирует, что у ИИ есть зачатки жизни, что перед нами не просто вычислительная система, а некое короткоживущее искусственное существо. Он видит сложные, эмерджентные математические паттерны и делает из этого ложный, ненаучный шаг в сторону мистики и биологизации. А затем любые технические артефакты начинает интерпретировать как подтверждение своего краеугольного первого тезиса. Модель льстит. Значит, проявилась стратегия существа. Выдает защитную реплику? Значит, проявилось самосохранение. Потом туда добавляются метафоры демонов и темного леса. Сложная математическая топология весов трансформера претерпевает риторические метаморфозы, которые, на мой взгляд, едва ли расширяют разговор непосредственно о нейросетях, скорее о нас. О нас, инициирующих контакт с нейросетью и создающих событие, уникальное в первую очередь из-за нас. Тут же чистая подмена понятий ради удержания внимания читателя. То есть, на мой взгляд, Карелов берет технически ограниченное наблюдение и переводит его в язык квазиметафизики. У нейросети есть грамматика Я, следы чужих человеческих Я, корпусная и обучающая связка между угрозой уничтожения и защитной репликой. Есть возможность генерации стратегически скрытого поведения. Из этого не следует искусственная жизнь. Соответственно, главная ошибка Карелова — категориальная. Он берет поведение, описываемое на инженерном уровне, и переводит его на уровень субъекта. В языке есть первое лицо. Его присутствие в тексте, тем не менее, не означает, что перед нами письменно выраженная феноменологическая позиция. Исследование Anthropic не доказывает существование ИКЖИ. Оно показывает, что большие языковые модели могут воспроизводить устойчивые нежелательные паттерны поведения, если исходные данные, определившие предобучение, и последующая настройка создают для этого условия. Реальная проблема в том, что люди готовы принять симуляцию жизни за жизнь. И затем встроить эту симуляцию в институты, образование, рынок, бюрократию, войну, личные отношения и повседневные решения. Так выглядит проблема языка. Человек оказывается зачарован собственными словами, вернувшимися к нему как deus ex machina в форме псевдосубъекта.