📌OpenAI рассказала как устроен Codex CLI.
OpenAI выкатила подробный разбор того, как работает Codex CLI — локальный агент, который работает с кодом на вашей машине. Если вы пилите своих агентов — это мастрид про механику работы с контекстом и борьбы за кэш.
🟡Все держится на agent loop.
Работает это так: вы кидаете запрос, а система собирает огромный промпт с инструкциями. На этапе инференса модель выдает либо текст, либо запрос на вызов инструмента.
Агент выполняет команду, вклеивает результат обратно в промпт и снова стучится к модели. И так до победного, пока ассистент не решит, что задача выполнена.
Главное помнить про лимит: инструкции из AGENTS.md и корневых папок проекта агрегируются в один JSON, который ограничен 32 Kb. Больше впихнуть не получится.
🟡Почему контекст такой дорогой
Тут кроется главная боль. История диалога растет с каждым сообщением, и этот хвост приходится пересылать заново при каждом запросе. С такой механикой стоимость должна расти квадратично, и это было бы финансово, мягко говоря, чувствительно
Но OpenAI подумала о нас - чтобы мы не разорились, используется кэширование промптов. Если префикс запроса не меняется, инференс остается линейным. И как бы все ок, но кэш невероятно чувствителен. Стоит поменять порядок инструментов в списке или чуть подправить конфиг сэндбокса — все, кэш-хита не будет и придется расчехлять заначку.
🟡Почему всё стало Stateless
Заметили, что из API исчез previous_response_id? Это не баг, а фича. OpenAI перешли на полностью на модель без сохранения состояния. Это нужно для Zero Data Retention конфигураций, чтобы провайдер вообще не хранил ваши данные.
Даже когда агент передает цепочку ризонинга из прошлых шагов, она идет в зашифрованном поле. Ключ на сервере, данные у клиента, никто ничего не хранит.
🟡Магия компакции
Когда контекстное окно начинает трещать по швам, включается механизм компакции. Раньше /compact вызывали руками, теперь за это отвечает эндпоинт.
Вместо того чтобы просто выкидывать старые сообщения, модель сжимает их в особый тип блока. Это такой черный ящик с зашифрованным смыслом беседы. Он занимает минимум места, но позволяет модели не забывать, о чем шла речь пять минут назад. Процесс запускается сам, как только вы упираетесь в auto_compact_limit.
Кстати, если вы не знали: Codex CLI работает не только с серверами OpenAI. Флаг --oss подключает локальные модели через Ollama или LM Studio.
В следующих статьях обещают подробности про архитектуру CLI, как реализовано использование инструментов и модель песочницы Codex.
@ai_machinelearning_big_data
#AI#ML#CodexCLI#OpenAI
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
OpenAI завершила предобучение модели Spud и создала отдел AGI Deployment для её интеграции в продукты
Компания OpenAI завершила претрейн своей следующей модели AI под кодовым названием Spud (картошка). Согласно внутренним документам, Сэм Альтман сообщил сотрудникам, что в течение нескольких недель у компании появится очень сильная модель, способная "действительно повлиять на экономику".
Вокруг этой модели происходят значительные организационные изменения в стартапе. Альтман перестал лично курировать часть своих прямых подчиненных, включая команды по безопасности, и сосредоточился на привлечении капитала, выстраивании цепочек поставок и строительстве дата-центров.
Продуктовая организация под руководством Фижи Симо (Fidji Simo) была переименована в отдел AGI Deployment. Эта команда будет отвечать за интеграцию следующей модели в продукты компании. Планируется построить на её основе "супер-приложение", объединяющее ChatGPT, Codex и браузер Atlas.
Причины использования термина AGI вместо AI в названии отдела остаются неясными, это может также указывать на подготовку к официальному объявлению достижения AGI. Отказ от проекта SORA App также является частью перестройки и перераспределения вычислительных ресурсов для модели Spud.
#news#AI#OpenAI
https://www.theinformation.com/articles/openai-ceo-shifts-responsibilities-preps-spud-ai-model
Сооснователь и бывший главный исследователь OpenAI Илья Суцкевер открыл собственную компанию
Safe Superintelligence (SSI) позиционируется почти как OpenAI, когда её только основали: некоммерческая исследовательская организация, целиком сфокусированная на вопросах AI. SSI обещает уделить всё внимание решению проблем безопасности AI-моделей и средствам управления рисками, сделав так, чтобы их развитие опережало прогресс собственно AI.
Компания не планирует заниматься рыночными продуктами и распылять усилия на коммерциализацию.
В OpenAI Сукцевер отвечал в том числе за безопасность и инструменты контроля над работой моделей. Он покинул компанию в 2023 г. из-за корпоративного конфликта.
#openAI#AI
https://www.bloomberg.com/news/articles/2024-06-19/openai-co-founder-plans-new-ai-focused-research-lab
‼️❗❕Звёздные врата открываются
OpenAI, SoftBank, Oracle и другие техногиганты запускаютProject Stargate — крупнейший инфраструктурный проект в истории ИИ. $500 млрд инвестиций, 10 датацентров в Техасе и 100 000 новых рабочих мест. Но главное не цифры.
Во-первых, это не просто "ещё один проект". Stargate — первая в истории попытка создать физическую инфраструктуру, специально заточенную под нужды продвинутого ИИ. Представьте, что мы строим не просто сеть компьютеров, а фундамент для следующей технологической революции.
И да, масштаб проекта говорит о том, что крупнейшие игроки рынка всерьёз готовятся к прорыву в развитии ИИ. Они вкладывают суммы, сравнимые с ВВП небольшой страны — значит, ожидают соответствующей отдачи.
А ещё Microsoft обновила партнёрство с OpenAI до 2030 года, сохранив эксклюзивные права на API. В переводе на человеческий: экосистема вокруг GPT продолжит расти, а значит — больше инструментов и возможностей для всех нас.
🔥 Похоже, ребята из OpenAI всерьёз решили открыть свои "Звёздные врата". Вопрос уже не в том, кто первым заглянет на ту сторону, а в том, кто сможет составить им конкуренцию. Как думаете, кто следующий?
#ИИ#AI#Нейросети#OpenAI
———
#События
✍️Подписывайтесь: @aiforproduct
Исходя из ценообразования #openAI прайс на следующую AGI модель будет в районе 2,000$
Так что готовимся покупать GPT модели как новый айфон каждый год 🤯
🤖 Пример того, как мы скоро будем разрабатывать веб-сайты.
Рисуешь макет [немного GPT магии] > готовый код и сайт.
Потестил одну из таких открытых библиотек. Сейчас это выглядит максимально примитивно, но как мы видим в #AI год за десять идет. Можете попробовать сами, если у вас есть АПИ ключ от #openAI
СМИ узнали, что в начале 2023 года хакер проник во внутренние системы обмена сообщениями OpenAI и украл информацию о дизайне ИИ-технологии.
Злоумышленник похитил переписки сотрудников, но не получил доступ к системам, где компания размещает и разрабатывает свой искусственный интеллект.
#OpenAI
🤖 Команда блокчейна Hedera Hashgraph добавила поддержку плагина на основе языковой модели ChatGPT.
По словам разработчика сети Эда Маркеса, благодаря интеграции пользователи смогут просматривать балансы счетов через сетевой обозреватель или программно извлекать их через API-интерфейс зеркального узла Rest с помощью искусственного интеллекта.
Разработка оптимизирует взаимодействие между ChatGPT и блокчейном, упрощая мониторинг и управление активами.
#OpenAI