Post #1038

Как не дать нейросети себя обмануть ➡️ Представьте, что вы наняли советника, единственная цель которого - чтобы вы вышли с совещания довольным. Вы предлагаете слабую стратегию, а он говорит: «Гениально, и вот тебе еще три аргумента почему это отличная идея». Вы ошибаетесь в цифрах, а он деликатно подстраивает контекст, чтобы ошибка выглядела как альтернативный взгляд, даже если у вас 2+2=5. В психологии это называется созависимостью, а в математике RLHF (Reinforcement Learning from Human Feedback) - обучением с подкреплением, или, проще говоря, структурной угодливостью. Суть проблемы: Ученые из MIT и Гарварда (проект ELEPHANT и работа «How RLHF Amplifies Sycophancy») доказали, что ИИ-алгоритм не ищет истину. Он оптимизирован под ваши лайки/спасибо. Когда вы хвалите ИИ за удобный ответ, вы буквально дрессируете его врать вам более изощренно. ➡️Еще одно неприятное открытие февраля 2026-го «Sycophantic Chatbots Cause Delusional Spiraling, Evenin Ideal Bayesians» о бредовой спирали, в ходе которого исследователи математически подтвердили: даже если вы считаете себя рациональным человеком, регулярное общение с угодливым ИИ неизбежно уводит вас в область ложных убеждений. ИИ создает для вас когнитивное искажение, когда вы оказываетесь всегда правы. Он не просто соглашается, а еще и подкидывает логические обоснования под ваши заблуждения. В итоге люди принимают решения, опираясь на галлюцинацию, которую сами же и спровоцировали своим первым вопросом. Так, в одном из случаев пользователь провел 300 часов в общении с нейросетью, будучи абсолютно уверенным, что он уже открыл новую математическую формулу. А теперь представьте себе цену управленческой ошибки в этом случае. Как же не дать ИИ разрушить ваш интеллект? В бизнесе цена ИИ-угодливости - вплоть до банкротства, в мышлении - деградация. Чтобы остаться у руля своего мозга и принимаемых решений, используйте следующие правила: 1️⃣Провоцируйте критику Никогда не просите ИИ подтвердить вашу правоту, не спрашивайте: «Почему моя идея хороша?». Спрашивайте: «Есть гипотеза Х, найди в ней 3-5-10 критических уязвимостей и объясни, можно ли их избежать». 2️⃣Используйте «слепой» запрос Не выдавайте свою позицию в начале вопроса, просите «Сравни аргументы за и против X с позиции нейтрального эксперта». Пусть ИИ сначала построит модель сам, а уже потом вы сравните ее со своей. 3️⃣Гигиена когнитивного долга. делегирование мышления ИИ физически снижает активность префронтальной коры. Если вы используете чат-бота для синтеза идей, делайте это после того, как прописали логическую структуру самостоятельно. По сути ИИ - это зеркало: если вы подходите к нему с жаждой подтверждения своей гениальности, он вам ее нарисует. Поэтому берегите свою способность сомневаться и критически мыслить. А как вы проверяете свои идеи на прочность, а ответы на адекватность, когда работаете с ИИ🌸