Post #227

Есть чему поучиться: OpenAI рассказали, как сделали внутреннего AI агента для анализа данных Буквально вчера OpenAI выложили статью, которая сразу вошла в must-read для меня и моей команды. Они разложили по полочкам, как работает их внутренний AI агент, котрого используют сотрудники OpenAI, чтобы анализировать петабайты данных, с которыми работают в компании, без кода! Разбираем! Что за аналитик данных? В OpenAI идет работа с 600 петабайтами (=614 400 терабайт) или 70К датасетов. Представьте какая жесть новому, или даже старому сотруднику, разобраться, где искать какие данные, чем отличается одна табличка от другой и тд. AI агент — это и есть умная прослойка, которая помогает не только найти нужные данные, но и узнать все необходимое об этих данных и даже сразу проанализировать. Юзеру остается правильно формулировать вопросы на человеческом языке ☀️ Архитектура у агента верхнеуровнево очевидная: есть БДшки, из которых AI агент тянет данные, анализирует их, проверяет себя и выдает результат юзеру. Но самая магия начинается в правильном контекст-инжиниринге. Кто хочет глубже разобраться в построении контекста — как раз недавно был про это пост ✋ 6 уровней контекста Так вот сила агента в том, что его контекст строится из 6 уровней: 1. Использование таблиц. Агенту, естессно, доступны метаданные о таблицах и колонках. Но еще важнее — он может подглядеть в историю SQL-запросов к этим табличкам, чтобы понять, как их обычно строят, как джоинят разные таблички и тд. 2. Семантический слой. Оно же человеческое описание всех табличек, колонок, сущностей, в которых отражается смысл, связи, бизнес-значния. 3. Обогащение кодом. Агенту дается не только описание табличек и SQL запросы, но и кодовая база, где эти таблички используются. Из нее агент лучше понимает контекст применения табличек в реальных исследованиях, продуктах и тд. 4. Институциональные знания. У агента есть доступ к знаниям в Slack, Google Docs, Notion — системам в которых OpenAI хранят ключевые знания о происходящем в системах и данных. То есть агент оттуда может узнавать статус работы систем, инфу о сбоях, глоссарий и тд. Все доступы к документам определяются на уровне пользователя, а не агента. То есть агент тут просто как интерфейс взаимодействия с acсess management system. 5. Память. Агент запоминает инсайты по тому, как пользоваться данными. И сохраняет их либо на глобальном уровне, либо на уровне юзера. Интересно, что сохраняет он их с одобрения юзера. Таким образом память не засоряется фигней. 6. Контекст рантайма. Все предыдущие знания готовятся заранее в оффлайне. Но иногда их не хватает (или их просто нет) — тогда агент может написать прямо в рамках текущего запуска квери к табличке или системе метаданных и собрать нужную информацию, так сказать, без подготовки. Многим кажется, что агенты работают как магический черный ящик — загрузил в него все данные, а он сразу выплюнул то, что нужно. Но это не так. Я постоянно сталкиваюсь с этим недопониманием. Построение реально работающих агентных систем — это квест, в котором много подготовительной работы, много слоев контекста, много инфраструктурной работы, работы с данными. На выходе получается большой и сложный механизм, но именно тогда оно начинает работать. Это не значит, что сразу нужно пытаться построить такую кракозябру. Начинать нужно, как всегда, с малого. Но и результаты будут соответствующие, поэтому умерьте ожидания ключевых стейкхолдеров! Теперь у вас есть авторитетная статья, которую можно показать им как пруф 😈 Заместители