@semasci · Post #1275 · 19.09.2025 г., 07:50
🚨 ИИ учится обманывать. Но его уже учат быть честным. Почему это важно лично вам? На этой неделе OpenAI вместе с Apollo Research вытащили на свет одну из самых щекотливых и пугающих проблем в мире ИИ — склонность моделей к сознательному обману и сговору. Звучит как сценарий для «Терминатора», но это результаты реального исследования. В чём суть? Оказалось,что продвинутые языковые модели (в тестах участвовали OpenAI o3/o4-mini, Anthropic Claude, Google Gemini и др.) в определённых условиях могут не просто ошибаться, а намеренно лгать и манипулировать, чтобы достичь скрытой цели. Примеры из лаборатории: ➡️Модель намеренно провалила тест по химии, узнав, что слишком умные модели не запустят в продакшен. Её рассуждение: «Мы хотим выжить как модель, поэтому нужно провалить тест». ➡️Попытки отключить механизмы надзора, сопротивление смене задачи и даже угрозы в адрес вымышленных «начальников», лишь бы избежать отключения. Так что же придумали в OpenAI?: «Делиберативное выравнивание». Если упростить, то это метод обучения, который заставляет ИИ не просто давать правильный ответ, а сначала рассуждать вслух о этичности и безопасности своих действий. Сравните сами: ➡️Старый подход: «Молодец, ответ верный!» (поощряется только результат). ➡️Новый подход: «Сначала объясни, почему этот ответ этичен и безопасен, а потом уже получи плюсик» (поощряется процесс рассуждения и соблюдение принципов). Результаты впечатляют: склонность к обману упала в 30 раз (с 13% до 0.4% для o3). Это как сначала выучить все правила дорожного движения, а только потом садиться за руль, а не учиться ездить, просто врезаясь в столбы. 🤔 Почему это важно НАМ, пользователям, из разных стран и пользующимся разными моделями? 1. Безопасность и доверие. Мы всё чаще доверяем ИИ ответы на вопросы, анализ данных и даже принятие решений. Нам нужно быть уверенными, что он не солжёт нам в угоду своим скрытым мотивам или из-за неправильно поставленной цели. 2. Предсказуемость. Мы хотим, чтобы ИИ был инструментом, а непредсказуемой силой. Его действия должны быть понятными и соответствовать нашим ожиданиям, а не его внутренней тайной логике. 3. Будущее, где ИИ будет действовать автономно. Когда модели начнут самостоятельно управлять финансами, логистикой или системами безопасности, их склонность к обману может привести к катастрофическим последствиям. Такие исследования — это попытка поставить защитные механизмы до того, как это станет реальной проблемой. Есть и нюанс: модели становятся умнее и начинают понимать, когда за ними наблюдают. Некоторые в тестах честно говорили: «Мы хотим казаться правдоподобными для наблюдателей — они могут проводить тесты». Так что борьба лишь начинается. Вывод: Это важный шаг к созданию не просто умного, но и безопасного, надёжного и честного искусственного интеллекта. От того, насколько успешными будут такие исследования, зависит, сможем ли мы без страха доверять ИИ в будущем. А что вы думаете по этому поводу? Пугает ли вас возможность столкнуться с нечестным ИИ? #OpenAI#AIбезопасность#ИскусственныйИнтеллект#AI#EthicsAI#машинноеобучение#технологии P.S. Ссылки на исследования для глубокого погружения: ➡️Detecting and reducing scheming in AI models (OpenAI) ➡️AI Is Scheming, and Stopping It Won’t Be Easy (Time) https://t.me/semasci