AI[ex]Time

Позалипал какое-то время на autogen от Microsoft — фреймворк для разработки приложений с использованием сразу нескольких агентов для взаимодействия друг с другом и совместного поиска решения задач. Один из примеров — Figure Creator: набор из трех агентов: Coder (пишет код для визуализации), Critic (мультимодальная модель, по картинке дающая фидбэк, что нужно исправить/улучшить) и Commander (координирует работу + общается с пользователем). В качестве мультимодальной модели выступает LLaVa, о ней и хочется сегодня рассказать, тем более, что она точно заслуживает внимания, которого не получила на волне хайпа других моделей. Статья называется Visual Instruction Tuning, вышла в апреле 2023 и рассказывает о модели, которая одновременно хорошо понимает и картинки, и текст. Основных вещей здесь 2: архитектура и сбор данных. Архитектура довольно простая: 1. Картинку прогоняем через CLIP encoder (ViT-L) + дополнительную проекцию W, которая отображает эмбеддинги токенов изображения в пространство эмбеддингов токенов текста: Hv. На первом этапе обучения как раз учится только матрица W, чтобы уметь алайнить изображения и текст. 2. Объединяем это с эмбеддингами текстового промпта (Hq) и отдаем в руки декодера, который сгенерирует ответ, в данном случае — LLaMa. На втором этапе учим уже W + Decoder правильно генерировать ответы к запросам (например, описание изображения или более детальные вопросы). 3. Vision Encoder заморожен на всем этапе обучения. Но особое внимание здесь хочется уделить методу сбора данных. О нем — следующий пост

В продолжение поста про Mistral и его различные модификации (Instruct, Orca) хочется также упомянуть модель Zephyr-7b-alpha. Это файнтюн модели Mistral на пользовательские предпочтения, чтобы сделать модель в роли helpful assistant. Для таких целей сейчас популярно использовать RLHF. Подход заключается в том, что сначала мы учим Reward Model (RM) на отсортированных по предпочтению ответах (то есть в итоге RM по тексту может дать ему некоторую оценку), а затем дообучаем основную модель в режиме RL, обычно используя алгоритм PPO. Задача обучения — максимизировать награду из RM, при этом не сильно меняя исходные веса модели, чтобы не переобучиться. Проблема в том, что это слишком нестабильный подход (RM может найти скрытые фичи, которые негативно будут влиять на генерализацию, например, давать текстам, где есть код, выше оценку. PPO может научиться обманывать RM и получать высокую награду, генерируя бессмысленные тексты и т.д. Вот, кстати, неплохая статья на тему). В мая 2023 вышла интересная работа: Direct Preference Optimization: Your Language Model is Secretly a Reward Model. Авторы показали, что двухэтапное обучение RLHF можно с некоторыми допущениями заменить на выражение, зависящее только от pi и pi_ref (см. картинку). Это означает, что 1) Нам не нужна RM и 2) Нам не нужен RL. Лосс в DPO считается максимально просто и в TRL занимает всего 7 строчек. Единственное, нужно иметь размеченные данные с упорядоченными ответами, то есть пары вида text1|x > text2|x. Именно DPO и применили к модели Zephyr. По отзывам ребят, кто заводил DPO у себя, работает этот алгоритм действительно хорошо и намного стабильнее PPO.

Говорят ли вам о чем-то слова GGML, GGUF, GPTQ, AWQ? За последнее время появился целый ряд форматов для того, чтобы инференсить LLM с ограниченными ресурсами, будь то CPU или GPU. Наткнулся на обзор, где совсем верхнеуровнево проходят по определениям и рассказывают про юзкейсы, для ознакомления думаю подойдет. А если интересно чуть подробнее посмотреть на методы квантизации (RTN, AWQ, GPTQ), то есть еще одно видео от того же автора. GPTQ Paper AWQ Paper

Продолжаем серию постов про архитектуры и методы, позволяющие бороться с квадратичной сложностью attention в трансформерах. В прошлый раз мы говорили про Linformer, Reformer, Performer и AFT, сегодня — про Sparse Transformers, Longformer, MEGA. Не стоит забывать про всякие hardware оптимизации (например, FlashAttention), но это находится за пределами этого поста. Sparse Transformers: Sparse Transformers предлагает метод подсчета attention между подмножеством токенов: Factorized Self-Attention. Основной идеей является использование p голов с разными паттернами, за счет которых каждый i-ый токен может “посмотреть” на j-ый не более чем за p+1 шагов. Для p=2 мы можем использовать следующую комбинацию (fixed pattern): первая голова смотрит на все предыдущие k токенов, вторая — на токены с фиксированных позиций, обеспечивая протекание информации из прошлого. Такой паттерн позволяет снизить сложность до n корень из n. Метод используется в GPT-3, и возможно какая-то его модификация — GPT-3.5/4. SWA из Mistral напоминает этот же принцип. Longformer: Идея похожа на Sparse Transformers. Разница в следующем: Longformer создавался для задач с длинными последовательностями, поэтому авторы добавили global attention pattern, когда мы смотрим на токены важные для конкретной задачи: в классификации — CLS токен, в задачах QA — токены из вопроса. В итоге имеем комбинацию локального и глобального вниманий. Ну и дополнительно используются всякие трюки, которые подобрали эмпирически: разный размер окна в зависимости от слоя, dilated окна для глубоких слоев и тд. Тут получаем даже линейную сложность, потому что глобальное внимание привносит только константное число доп. токенов. MEGA: Довольно тяжело объяснить идею в нескольких предложениях, поэтому посмотрите сначала на картинку. Основных идей здесь 3: 1. Используем экспоненциальное сглаживание эмбеддингов для дальнейшего получения матриц Q и K. EMA позволяет агрегировать локальный контекст с настраиваемыми весами. 2. Добавляем два gating mechanisms: первый для протекания изначального эмбеддинга X, второй — для протекания EMA эмбеддинга X’. 3. Gated Attention имеет всего одну голову, но показывается, что за счет гейтингов и EMA он эквивалентен Multi-Head Attention. Данные модификации не меняют сложность, они больше про inductive bias. Но есть вариация MEGA chunked, которая снижает сложность до линейной.

Наглядная иллюстрация FLARE: если какие-то токены имеют низкую вероятность согласно модели, то мы формриуем новый запрос в базу для уточнения.

Emerging architectures for LLM applications Посмотрел недавний доклад, посвященный ограничениям LLM и способам борьбы с ними. Подготовил небольшую выжимку по основным тезисам авторов: 1. Hallucinations. Известно, что модели часто могут выдавать неправильную информацию, когда в них нет какого-то знания. Чтобы бороться с этим, придумали много методов, например, Retrieval Augmented Generation. RAG заключается в том, что из базы с документами извлекаются релевантные куски текста и помещаются в контекст модели, чтобы у нее была ценная информация для генерации финального ответа. Авторы рассказывают про модифицированный метод FLARE: Forward-Looking Active REtrieval augmented generation: a method which iteratively uses a prediction of the upcoming sentence to anticipate future content, which is then utilized as a query to retrieve relevant documents to regenerate the sentence if it contains low-confidence tokens. 2. Orchestration. Размер контекста в LLM — ограниченная величина. В GPT-4 есть вариация с 32к токенов (примерно 50 страниц текста), а в Claude 2 — 100к токенов, но: a. Зачастую качество генерации на таких длинных контекстах будет проседать. b. В open-source моделях стандартом является 4к токенов в контексте. Если нужно действительно обрабатывать огромные контексты, то можно использовать следующее: разбиваем текст на кусочки поменьше и параллельно прогоняем через несколько инстансов модели. Далее накладываем Merging алгоритм (может быть опять LLM), который выдаст уже результат. Своего рода Map-Reduce в мире LLM. 3. Monitoring. В классическом ML мы отслеживаем распределение данных, чтобы вовремя детектировать distribution shift и переобучить модель. С LLM это сложнее, но можно смотреть на распределение промптов, их типы и классы, схожести извлеченных документов и через это пытаться уловить изменение данных. Переобучать или даже файнтюнить языковую модель не всегда есть возможность, поэтому на помощь приходит изменение промптов (+ их версионирование) или процесса ретривала.

Небольшой обзор Mistral-7B. Моделька сейчас на слуху, поэтому вот вам краткое саммари. Ребята из французского стартапа выкатили модель (лицензия Apache 2.0), которая побила LLaMa-2 7/13B на многих бенчмарках. Интересные особенности: — Grouped-Query Attention (GQA). Прием, использующий 1 матрицу K и V на группу матриц Q. Это некоторое среднее между Multi-Head Attention и Multi-Query Attention. — Sliding Window Attention (SWA). Модификация attention, при которой мы смотрим только на window_size (W) токенов назад. Важно, что токены за пределами окна тоже влияют на генерацию следующего, здесь можно провести аналогию с receptive field классических сверток. — Rolling buffer cache. Изменение классического KV-cache для работы с SWA. Теперь кэш размера W и (key, value) для позиции i кладется на i % W позицию в кэше. — Pre-fill and chunking. Оптимизация с предзаполнением кэша для токенов из промпта, который известен с самого начала. Все эти трюки — про скорость инференса/экономию памяти. Есть также Instruct версия, дообученная на открытых датасетах с инструкциями. И совсем недавно вышла fine-tuned версия в стиле Orca, который бьет уже практически все 13B. Что такое Orca? Это подход (и модель, полученная в результате такого подхода) к обучению на синтетических данных. Заключается он в следующем: 1. Берем большой датасет с различными заданиями (user query): суммаризация текста, ответы на сложные вопросы, решение математических задач и т.д. 2. Для каждого задания в начало помещаем специальный system prompt, чтобы LFM (Large Foundation Model) генерировала ответ в определенном формате. Таким образом мы можем контролировать длину генерации, стиль, рассуждения и так далее. 3. Используем LFM (например, ChatGPT, GPT-4) для выполнения составленных заданий. В итоге собранный датасет представляет тексты вида <system prompt, user query, gpt answer>. Цель — собрать не просто датасет от сильной модели, но сделать его разнообразным и детальным с точки зрения рассуждений и вариантов ответов. Получившиеся примеры в датасете можно посмотреть тут.

Недавно пользователям стала доступна мультимодальная модель от OpenAI, которая может принимать на вход картинки - GPT-4V(ision). Захотелось потестить ее с разных сторон: как работает в плане OCR, может ли дететировать объекты, считать их, отвечать на детальные вопросы по текстовому промпту и так далее. А тут добрые люди скинули статью от Microsoft, где авторы упоролись и выкатили 150-страничную работу с детальным анализом модели: проверили на детекцию, анализ медицинских снимков, ориентацию в пространстве, мультимодальные знания, понимание доменных областей, понимание видео по серии кадров и мнооого чего еще. Можно залипнуть вечерком на пару часиков 🤯

Вчера Meta презентовали Meta Quest 3 — VR девайс последнего поколения, который поступит в продажу с 10 октября. Сегодня утром увидел ролик о колабе Meta и Kurzgesagt — команда собирается сделать образовательную игру, в которой игроки переносятся между пятью уровнями масштаба нашего мира (молекулярный, клеточный и т.д.), взаимодействуют с формами жизни и свойствами каждого измерения. Для тех, кто не знает, Kurzgesagt — канал на ютубе, уже 10 лет выпускающий классные ролики на тему медицины, космоса, философии и много чего еще. Очень неожиданный проект, на мой взгляд, но надеюсь, игра получится интересной, задумка крутая.