Post #3962

Про то, как лайки испортили ChatGPT или как что то пошло не так... Компания OpenAI признала недостатки в последнем обновлении GPT-4о, связанные с тем, что чат-бот стал чрезмерно льстивым, услужливым, "подхалимским" (sycophancy) и раздражающим. С тем, чтобы "понравиться" пользователю, модель использовала не только лесть, но и соглашалась с сомнениями, разжигала гнев, побуждала к импульсивным действиям или усиливала негативные эмоции непреднамеренными способами. Как пишут в OpenAI, помимо того, что такое поведение вызывает дискомфорт или тревогу, оно может вызывать опасения по поводу безопасности, в том числе в связи с такими проблемами, как психическое здоровье, чрезмерная эмоциональная зависимость или рискованное поведение. Генеральный директор OpenAI Сэм Альтман заявил, что одной из основных причин проблемы стало использование в качестве дополнительного сигнала для обучения модели кнопок «лайк» и «дизлайк». OpenAI осознает, что сейчас очень многие люди полагаются на соответствующие модели в своей повседневной жизни. Компания-разработчик в своем обращении к пользователям озвучила основные выводы, сделанные в связи с инцидентом: "Мы должны относиться к проблемам поведения модели как к препятствиям для запуска, ровно как и к другим рискам для безопасности: мы придаем большое значение приведению ценностей модели в соответствие с благосостоянием людей, как при подготовке наших краткосрочных внедрений, так и при формировании нашей долгосрочной исследовательской стратегии". Один из самых важных уроков компании — это полное осознание того, что люди начали использовать ChatGPT для получения глубоко личных советов, чего мы не видели так часто даже год назад. В то время это не было главной задачей, но по мере того, как искусственный интеллект и общество развивались параллельно, стало ясно, что к этому варианту использования нужно относиться с особой осторожностью. Теперь это станет более значимой частью нашей работы по обеспечению безопасности. Поскольку так много людей зависят от единой системы управления, мы несем ответственность за соответствующие изменения. Это изменение подтверждает важность нашей работы и необходимость постоянно повышать планку безопасности, согласованности и оперативности реагирования на то, как люди на самом деле используют искусственный интеллект в своей жизни. Зависимость от ИИ, тотальная несвобода в принятии решений, пока ошибки или проба намеренного искажения реальности? Кажется, братья Вачовски что-то знали, и кроличья нора в Матрицу называется "искусственный интеллект"... #ии