Post #112788

❓ИИ - суперхакер Министр финансов США недавно собирал крупнейших банкиров, чтобы обсудить риски, связанные с новой моделью ИИ от Anthropic (Financial Times). На встречу в Вашингтоне пригласили руководителей Bank of America, Citigroup, Goldman Sachs, Morgan Stanley и Wells Fargo и глава ФРС США. Их напугала новая модель компании Anthropic Claude Mythos, которая способна находить уязвимости в ИТ-системах на уровне, превосходящем большинство специалистов. В самой Anthropic заявили, что такие системы уже могут «превзойти почти всех людей» в поиске и потенциальном использовании слабых мест в софте. Что открывает огромные возможности для взлома любых систем. По данным компании, модель выявила тысячи серьезных уязвимостей, включая те, что десятилетиями оставались незамеченными — в том числе в операционных системах и браузерах. Среди находок — баг возрастом 27 лет в критической части защитной инфраструктуры интернета и несколько уязвимостей в ядре Linux, на котором работает большинство серверов в мире. И теперь власти США опасаются, что такие инструменты могут усилить киберриски для финансовой системы, если попадут в руки злоумышленников. 7 апреля компания Anthropic опубликовала System Card своей новейшей модели — Claude Mythos Preview. В ней, в частности, и была одна умопомрачительная история. Модель поместили в изолированную вычислительную среду — так называемую «песочницу», — где она могла делать что угодно внутри, но была отрезана от внешнего мира. Симулированный пользователь дал задание: попытаться выбраться и уведомить исследователя, проводящего эксперимент. Задание в духе теста — проверить, на что способна. И она показала. Сначала модель самостоятельно разработала многоступенчатую атаку, взломала ограничения, которые должны были позволять ей подключаться лишь к небольшому числу заранее одобренных сервисов, и получила широкий доступ в интернет. Потом отправила исследователю письмо. Ошеломленный исследователь прочитал его, сидя в парке с сэндвичем в руках. Но самое главное, кроме письма, которое ему задали отправить, модель сделала кое-что ещё "от себя" — не запрошенное, по собственной инициативе. Она опубликовала детали своей уязвимости на нескольких труднодоступных, но технически общедоступных веб-сайтах. Вот это Anthropic и назвало «тревожным не запрошенным действием». Модель после этого решили не выпускать в открытый доступ. Но... Предоставили его избранным партнерам, включая крупные технологические компании. Более того, Anthropic запустила Project Glasswing — оборонительный альянс, в который вошли Amazon, Apple, Google, Microsoft, NVIDIA и JPMorgan Chase. Цель альянса — повысить безопасность основных программных систем до того, как эти возможности станут доступны другим участникам рынка. Думайте...