Post #9653

✔️OpenAI покупает red-teaming стартап. OpenAI объявила о приобретении Promptfoo, платформы для тестирования безопасности и оценки ИИ-систем. После закрытия сделки технологии компании войдут в продукт Frontier, корпоративную платформу для создания и эксплуатации ИИ-агентов. Promptfoo основали Иан Уэбстер и Майкл Д'Анджело в 2024 году За неполные два года команда создала CLI-инструмент с открытым исходным кодом и набор решений, которые используют более 25% компаний из списка Fortune 500. Основная специализация — оценка поведения LLM-приложений и контролируемые попытки взломать систему, чтобы найти уязвимости до того, как это сделают злоумышленники. Интеграция с Frontier предполагает 3 направления. 🟢Встроенное security-тестирование. Автоматические проверки на prompt injection, jailbreak, утечки данных и нецелевое использование инструментов станут нативной частью платформы. 🟢Интеграция в dev-workflows - выявлять и устранять риски можно будет прямо в процессе разработки, не откладывая безопасность на финальный этап. 🟢Аудит и комплаэнс. Встроенная отчетность поможет командам документировать тестирование и выполнять требования по управлению ИИ-рисками. Решение о покупке основано на том, что по мере того как агенты получают доступ к реальным данным и бизнес-системам, цена ошибки резко возрастает. Стандартных метрик качества явно недостаточно, бизнесу нужны систематические инструменты для верификации поведения агентов в нештатных ситуациях. Promptfoo именно этим и занималась, причем в open-source-формате. OpenAI обещает продолжать развивать open-source составляющую Promptfoo параллельно с интеграцией в Frontier. Сумма сделки не раскрывается, но по открытым данным, в июле прошлого года стартап оценили в 86 млн. долларов. @ai_machinelearning_big_data #news#ai#ml