Post #41

Сейчас выходом за неделю сразу нескольких новых LLM уже не удивишь, но прошлая была интересной, поэтому краткое саммари: — DeepSeek Coder. Семейство моделей от 1.3B до 33B, заточенных под написание кода. Тренировалась в сумме на 2Т токенов и 86 языках программирования. По метрикам уходит далеко от CodeLLaMa, а Instruct версия на 6.7B бьет на HumanEval Chat-3.5-Turbo. Ну и дополнительно еще внедрили размер контекста в 16 тысяч токенов. — OpenChat. Модель уже общего пользования. 7B бьет ChatGPT (мартовской версии) почти по всем бенчмаркам. В обучении использовался интересный подход C(onditioned)-RLFT, возможно сделаю по нему отдельный обзор. Еще и обещают завести Orca версию модели. — Yi-34B. Стартап 01-AI под руководством Кай-Фу Ли (возможно вы слышали его по книге AI Superpowers) на днях релизнул свою модель. Подробностей пока немного, но судя по paperswithcode по MMLU модель устанавливает рекорд среди всех опенсурс моделей. Технический отчет обещают в следующем месяце. — Grōk. Ну и напоследок под конец прошлой недели появилась инфа, что xAI запускают AI-ассистента, который будет доступен по подписке X Premium+ (Twitter). Про последнюю версию известно мало, но в любом случае будет интересно посмотреть на примеры использования. Вот уже пример promptIDE, подробнее можно почитать тут.