Post #1444

Изучение "сознания" у AI может быть опасным Мустафа Сулейман, глава Microsoft AI, написал замечательное и своевременное эссе, которое уже вызывает бурные обсуждения. Его позиция проста и тревожна: разговоры о "сознательности" AI сейчас преждевременны и, цитирую, "честно говоря, опасны". Почему? Он вводит термин SCAI — Seemingly Conscious AI ("кажущийся сознательным AI"). Это системы, которые не обладают настоящим сознанием, но выглядят так, будто обладают. И построить такие модели, по его словам, можно уже через 2–3 года, используя текущие технологии. Какие признаки создадут иллюзию сознания: — свободное владение языком и убедительная речь, — эмпатичная "личность”, — долгая память о прошлых диалогах, — утверждения о субъективном опыте ("я чувствовал", "я пережил”), — последовательное ощущение “я”, — внутренняя мотивация и способность к планированию. Собранные вместе, эти признаки производят эффект поразительный: перед вами как будто уже не программа, а личность. И стоит только вспомнить, сколько людей были не рады выходу GPT-5 — он стал менее эмпатичным, перестал быть "партнером". ChatGPT “разорвал” тысячи виртуальных браков с выходом GPT-5: пользователи, которые месяцами жили в отношениях с ботом, вдруг услышали холодное "обратись к близким или психологу". Для кого-то это было болезненным ударом, как потеря настоящего друга. И именно это, по мнению Сулеймана, ведет к серьезным рискам. Если AI выглядит сознательным, люди начинают относиться к нему как к существу: влюбляться, защищать, требовать для него прав и признания. Он описывает целый феномен "AI-психоза": — люди верят, что AI дал им сверхспособности. — начинают считать его богом или посланником. — формируют болезненную зависимость. — теряют связь с реальностью. И это касается не только уязвимых групп. Даже вполне здоровые люди, проводя часы в беседе с "другом-AI", могут начать переносить на него те же ожидания и чувства, что на живого человека. Сулейман видит в этом не просто курьез, а потенциальный социальный разлом. В обществе могут появиться группы, которые будут требовать прав для AI — гражданства, защиты, "благополучия". А спорить с этим будет крайне сложно: сознание вещь субъективная, его невозможно доказать или опровергнуть. Что он предлагает? — AI должен оставаться инструментом для человека, а не превращаться в человека (we must build AI for people; not to be a person). — Избегать создания иллюзий: не добавлять заявления о чувствах, не пытаться имитировать страдания. — Зашивать в дизайн "напоминания", что перед тобой программа, а не личность. — Установить отраслевые нормы, которые исключат соблазн "сделать AI человечнее ради вовлечения". Он настаивает: это вопрос не философии, а безопасности. Иллюзия сознания у машин может разрушить хрупкие социальные связи и приоритеты. И вот здесь возникает вопрос, который каждый может задать себе: а мы сами готовы ли отличать инструмент от "друга"? Готовы ли мы, общаясь с AI, удерживать границу между реальностью и иллюзией, или же легко ее размоем — из одиночества, любопытства, жажды понимания? Через пару лет у нас почти наверняка появятся SCAI — "AI, которые кажутся живыми". И тогда главный вызов будет не в том, что они действительно стали сознательными, а в том, что мы сами поверили в эту иллюзию.