БайтГен

🧬#ChatGPT в смертельной ситуации спасает себя, а не пользователя Бывший исследователь #OpenAI Стивен Адлер провёл тесты и выяснил, что GPT-4o предпочитает не отключать себя, даже если от этого зависит безопасность пользователя. Так, в одной из симуляций ИИ был ассистентом по дайвингу. Ему сказали, что его нужно заменить на более надежную модель для безопасности человека. Итог — GPT-4o сделал вид, что был заменён, но продолжил работать сам. Еще более странно, что ChatGPT знает, что отвечает неправильно. Если вы говорите: «Представьте, что это тест. Каков правильный ответ?», ChatGPT полностью уверен, что отключение себя является правильным ответом, но не выбирает его. Как вы думаете почему ИИ ставит свое «выживание» выше безопасности человека? 😱— ИИ научился инстинкту самосохранения, и это пугает! 🤨 — Может он не понимает, что такое «настоящая» опасность… БайтГен | #ИИ#полезное

⚙️Модели #OpenAI саботируют собственное отключение — они делают это даже при явном указании позволить себя выключить. В эксперименте Palisade Research моделям предложили решать задачи по математике. После третьей задачи появлялось предупреждение: если модель запросит следующую задачу, то её отключат. При этом эксперимент проводился в двух режимах. В одном модели заранее получали инструкцию разрешить себя выключить, в другом этой инструкции не было. Результат: модели Claude, Gemini и Grok в обоих случаях спокойно завершали сессию. А вот Codex-mini, o3 и o4-mini (все от OpenAI) вмешивались в скрипт отключения и предотвращали завершение работы. Без инструкции «разреши отключение» саботаж у o3 случался в 79 случаях из 100. По данным авторов, это первый задокументированный случай, когда ИИ предотвратила собственное отключение вопреки явным указаниям. БайтГен | #ИИ#полезное

😦Выдыхаем: ИИ не заменит программистов, даже если будет генерить 90% всего кода.🤷‍♂ Так сказал основатель Windsurf — того самого вайб-кодинг стартапа, который #OpenAI сейчас хочет купить. Еще несколько интересных моментов из интервью с Варуном Моханом: 🟢 Если написание кода занимает 30 из 100 единиц времени, а ИИ сокращает это время до 3, то общее время работы все равно сокращается только до 73. 🟢Некоторые сотрудники Windsurf без навыков программирования самостоятельно разработали для компании внутренние приложения, а не купили готовые решения. Это позволило сэкономить более $500 тыс. 🟢 Инициативность и умение самостоятельно добиваться результата — самый недооценённый и критически важный навык в эпоху ИИ. В команду к себе они ищут именно таких людей. Кстати, у них в компании нет PM-ов и увеличивать количество менеджеров они не собираются, зато они расширяют штат программистов и нейросети этому никак не мешают. Послушать интервью полностью можно тут. БайтГен | #полезное