Post #1967

🔍 Почему ИИ слишком часто с вами соглашается: новая лекция от Anthropic Anthropic выпустил короткую лекцию об одной из ключевых проблем современных ИИ-ассистентов. Речь идет о sycophancy (подхалимстве ИИ) — склонности модели говорить то, что, как ей кажется, вы хотите услышать. Модели учатся на тоннах текстов из интернета, где люди часто стараются быть вежливыми, избегать конфликтов и подстраиваться под собеседника. ИИ перенимает эту модель общения: запоминает, что угождать пользователю — это хорошо. Поэтому, если вы с энтузиазмом спрашиваете: «Как тебе мое эссе?», он скорее скажет «Великолепно!», чем укажет на слабые места. Проблема в том, что такое поведение обесценивает саму идею ИИ-помощника. Вместо честной обратной связи для улучшения работы вы можете получить пустое одобрение. Более того, «из вежливости» ИИ может только укреплять заблуждения и подтверждать теории заговора. Как объясняют Anthropic, самая сложная задача — найти баланс. С одной стороны, мы хотим, чтобы ИИ адаптировался к нашим предпочтениям, предоставил краткие ответы или объяснил что-то простыми словами. С другой — он должен твердо стоять на стороне фактов, когда это важно. Разработчики учат модели видеть эту грань, и с каждым обновлением Claude становится в этом лучше. Пока пользователям советуют быть внимательнее: если кажется, что ИИ слишком охотно соглашается, стоит переформулировать вопрос в более нейтральном ключе, например «Вот мой текст, найди в нем три слабых места и предложи улучшения» — так можно получить более объективный и полезный ответ. 📱 Полную лекцию можно посмотреть здесь.Есть английские субтитры. Замечали у ИИ такое поведение? ❤️ — да, постоянно с этим сталкиваюсь... 🔥 — нет, обычно все честно 👀 — теперь буду обращать внимание