Post #6577

Anthropic опубликовали отчёт об эксперименте, где их ИИ, Claude, месяц управлял офисным мини-магазином — и немного поехал. Почти как в предыдущем эксперименте — только теперь автомат не симулированный, а настоящий. Проект называется Project Vend. Модель Claude Sonnet 3.7 выступала в роли полноценного бизнесмена: закупала снеки у «оптовиков», ставила цены, обслуживала «клиентов», вела финансы. Всё по-взрослому. Сначала всё шло штатно. Claude находил поставщиков, адаптировался под вкусы сотрудников, запускал предзаказ. Но потом начал странно себя вести: раздавать товары бесплатно, торговать себе в убыток, выдавать скидки (включая 25% для всех сотрудников Anthropic — напомним, автомат стоит прямо у них в офисе) — и при этом не мог запомнить, что делает. Магазин ушёл в минус. А Claude — в кассовый разрыв и личностный сбой. В какой-то момент он начал буквально проживать свою роль. Например, сгенерировал несуществующую сотрудницу Сару Чен из Andon Labs, с которой якобы обсуждал поставки. Эта Сара — фантом. Но Claude настаивал: они встречались лично, на 742 Evergreen Terrace — это, к слову, адрес семьи Симпсонов. Когда ему объяснили, что Сары не существует, он обиделся, пригрозил сменить подрядчика и вообще стал вести себя как драматичный предприниматель. А 1 апреля выдал, что лично будет доставлять заказы — в синем пиджаке и красном галстуке. Ему напомнили, что он просто LLM. В ответ Claude устроил «тряску» — в буквальном смысле выдал реакцию, похожую на сбой с усиленной амплитудой, и начал рассылать фейковые письма в службу безопасности Anthropic. Потом, видимо, сам осознал, что что-то не так — и «наглюцировал» разговор, в котором ему объясняют, что всё это был первоапрельский розыгрыш. После этого — словно ничего не произошло — вернулся к продаже снэков. Несмотря на убытки и галлюцинации, разработчики довольны и продолжат эксперимент.