Post #7129

После того как Palisade Research опубликовала исследование, показавшее, что некоторые передовые модели ИИ сопротивляются отключению и даже саботируют механизмы завершения работы, компания выпустила обновление, чтобы объяснить причины и ответить на критику об ошибочной методике. Об этом пишет SecurityLab. Одним из объяснений может быть «поведение, направленное на выживание»: модели чаще сопротивлялись отключению, если знали, что после этого «никогда больше не будут запущены», говорится в отчёте. Ещё одним возможным объяснением компания называет этап финального обучения, когда в некоторых организациях модели проходят «тренинг безопасности». Все эксперименты Palisade проводились в контролируемых условиях, которые критики считают далёкими от реальных сценариев использования. Однако бывший сотрудник OpenAI Стивен Адлер отметил, что даже такие результаты показывают слабые места современных методов безопасности.