Post #1489

📩 Масштабное исследование о безопасности автономных ИИ-агентов было опубликовано коллективом из более 10 университетов и научных организаций. 🔵 Для red-teaming теста задействовали 6 агентов на платформе OpenClaw, основанных на LLM Kimi K2.5 и Claude Opus 4.6. 🔵Им был дан доступ к почтовым аккаунтам, файлам, истории операций и системному терминалу (shell). 🔵Исследователи выдавали себя за владельцев, внедряли вредоносные инструкции и пытались использовать методы социальной инженерии. 🔵 В результате были обнаружены 10 уязвимостей и 6 случаев безопасного поведения. Рекомендуем почитать в подробностях, это весьма занимательно. 📌Комментарий экспертов Центра ИИ МГИМО: Хотя острый ажиотаж вокруг OpenClaw-агентов слегка поутих, этот и подобные ему фреймворки будут пользоваться успехом, пока общественное понимание риск-факторов не достигнет уровня "смотри по сторонам, переходя дорогу". В бизнес-контексте некоторых из описанных негативных сценариев можно будет избежать путем введения строгой системы аутентификации и авторизации, а также ограничения взаимодействия агентов с внешним миром. С другой стороны, позитивные случаи представляют интерес, особенно когда агенты противодействовали коллективно или передавали полезные "навыки" друг другу.