@semasci · Post #1016 · 07.04.2025 г., 10:12
🔥Meta представила революционную серию Llama 4!🚀 Компания анонсировала мультимодальные модели ИИ нового поколения, которые объединяют текст, изображения и видео в единую архитектуру. Вот главное, что нужно знать: Архитектура и инновации ➡️Раннее слияние модальностей: Модели обрабатывают текстовые и визуальные токены в едином «ядре», что улучшает понимание контекста. ➡️Mixture-of-Experts (MoE): Используют «смесь экспертов» — только часть параметров активируется для конкретной задачи, что повышает скорость и снижает затраты на вычисления. ➡️Рекордный датасет: Обучение на 30 триллионах токенов (в 2 раза больше, чем у Llama 3!) с применением MetaP-оптимизации и методов RLHF. Три модели — три специализации 1. Llama 4 Scout (17B параметров, 16 экспертов) – Контекстное окно 10 млн токенов для анализа длинных текстов. 2. Llama 4 Maverick (17B параметров, 128 экспертов) – Идеален для задач общего назначения и работы с изображениями. 3. Llama 4 Behemoth (288B активных параметров) – Превышает GPT-4.5 и Claude Sonnet 3.7 в STEM-тестах. Чем лучше конкурентов? ➡️Производительность: Scout и Maverick обходят GPT-4o и Gemini 2.0 Pro в кодинге, мультиязычных задачах и анализе изображений. ➡️Эффективность: Даже компактные версии показывают результаты топ-моделей при меньших вычислительных затратах. ➡️Универсальность: Первая линейка, где нативная мультимодальность сочетается с MoE-архитектурой. Источники: Meta AI | LessWrong #Meta#ИИ#Llama4#MoE#Инновации P.S. Как думаете, сможет ли Llama 4 перевернуть индустрию генеративного ИИ, или это стандартный эволюционный шаг? 🤔 https://t.me/semasci
Hashtags