Post #6133

Исследователи из Carnegie Mellon Universityпровели занятный эксперимент: создали фейковую IT-компанию и полностью укомплектовали её ИИ. Ни одного человека — только агенты: ChatGPT, Claude, Gemini, LLaMa, Amazon Nova и Qwen. У каждого — своя должность: от инженеров и аналитиков до менеджеров проектов. Внутри — полный корпоративный сетап: фальшивый HR-отдел, фальшивый CTO, и настоящая рутина. Виртуальная фирма называлась TheAgentCompany, и задача у неё была вполне серьёзная: проверить, как ИИ справляется с реальными офисными обязанностями. Не на демках, а в симуляции с полноценной нагрузкой: лазить по директориям, писать код в терминале, обсуждать задачи в RocketChat, оформлять тикеты в GitLab, просматривать офисы, писать performance review коллегам. Всего — 175 задач, эквивалент 3000 часов человеческой работы. Результаты: Лучшая модель — Claude 3.5 Sonnet от Anthropic — справилась лишь с 24% задач. При этом, чтобы выполнить одну задачу, ей в среднем требовалось около 30 шагов и больше $6 вычислительных затрат. Gemini 2.0 Flash от Google оказался вторым — 11,4% выполненных задач, в среднем по 40 шагов на каждую. Худшим оказался Amazon Nova Pro v1 — всего 1,7%, почти 20 шагов на попытку. Но именно его почему-то назвали «работником месяца». Модели сталкивались с предсказуемыми проблемами: нехватка здравого смысла, плохая ориентация в интернете, слабые социальные навыки. Но были и по-настоящему сюрреалистичные моменты. Например, один из агентов не смог найти нужного коллегу в чате и решил вопрос радикально: переименовал другого пользователя под нужное имя и просто отправил ему сообщение. Авторы эксперимента подводят простой итог: ИИ-агенты пока могут выполнять простые, изолированные задачи. Но стоит добавить немного хаоса, неоднозначности и взаимодействия — и они теряются.