🔥Как работает нейросеть? — [9:59]
Нейросети уже заполонили мир, особенно ChatGPT и Midjourney, поэтому важно приблизительно понимать как они работают. В этом ролике речь пойдёт об общем строении ИИ, что такое нейрон, вес и как подбирается результат.
Перейти к просмотру
#видео#ai
🌟Mamba3
Mamba2 делала ставку на быстрое обучение. Ради этого механизм рекуррентных обновлений упрощали: матрицу переходов состояний свели к скаляру, умноженному на единичную матрицу.
Обучение ускорилось, но при декодировании GPU большую часть времени не считает, а гоняет данные между уровнями памяти. Архитектура оказалась с нюансом - вычислительные ядра простаивают.
С тех пор ландшафт изменился. RL с верифицируемыми наградами для кода и математики, агентные пайплайны - все это генерирует прорву токенов на инференсе. Команда Mamba3 задалась вопросом: как выглядела бы SSM-архитектура, если сделать ее с приоритетом на инференс, а не на обучение?
Так родились 3 главных изменения в ядре Mamba.
🟡Новая схема дискретизации.
SSM в базе - это обыкновенное дифференциальное уравнение, которое нужно перевести в дискретную рекуррентную формулу. Mamba1 и Mamba2 использовали комбинацию двух методов (ZOH и Эйлера), подобранную эмпирически.
В Mamba3 реализовали экспоненциально-трапецеидальный метод: вместо одной точки для аппроксимации интеграла берутся обе границы интервала с обучаемым коэффициентом смешивания. В результате рекуррентная формула неявно применяет свёртку к входу скрытого состояния, что делает динамику выразительнее без дополнительных компонентов.
🟡Комплекснозначная SSM.
Ранние модели семейства S4 работали с комплексными числами, но Mamba1 от них отказалась. Из-за этого модель не справляется даже с простейшими задачами отслеживания состояний (например, определением четности последовательности).
Решение нашли во вращении в двумерном пространстве: вместо комплексных вычислений авторы разложили переход на масштабирование и поворот, а затем применили фишку из RoPE - встроили вращения в матрицы через кумулятивную сумму углов.
Переписывать ядра для поддержки комплексной арифметики не пришлось. Модель решает задачи на чётность и другие бенчмарки, недоступные предыдущим версиям.
🟡Переход от SISO к MIMO.
В стандартной SSM каждый хэд содержит набор независимых систем (один вход - один выход). При декодировании арифметическая интенсивность составляет около 2,5 операций на байт при пороге вычислительной загруженности на H100 в районе 300.
Mamba3 расширяет матрицы, превращая внешние произведения в матричные умножения. Арифметическая интенсивность растет пропорционально. При этом размер скрытого состояния не увеличивается, а значит, латентность декодирования почти не меняется. Обучение, конечно, дорожает, но это сознательный компромисс.
Еще из архитектуры убрали короткую каузальную свёртку, присутствовавшую с первой Mamba - новая рекуррентная формула и смещения выполняют ту же функцию.
Добавили нормализацию BCNorm по аналогии с QKNorm в трансформерах, перешли на чередование SSM- и MLP-слоев.
Ядра написаны на Triton (prefill SISO), TileLang (prefill MIMO) и CuTe DSL (decode).
🟡Тесты
Mamba-3 SISO при 1,5B параметров показывает лучшую суммарную латентность prefill + decode на всех длинах последовательностей по сравнению с Mamba2, Gated DeltaNet и Llama-3.2-1B под vLLM на одном H100.
MIMO-вариант сопоставим по скорости с Mamba2, но заметно точнее. При анализе Парето-фронта Mamba-3 показывает тот же уровень качества при вдвое меньшем состоянии.
@ai_machinelearning_big_data
#AI#ML#LLM#Mamba3#TogetherAI
📌OVQA: прощай, KV-cache offloading.
В Zyphra придумали как усидеть на двух стульях сразу, когда хочется резиновый контекст, но под рукой нет тонны памяти.
То. что они предложили, называется Online Vector-Quantized Attention - это модификация векторного квантования, которая учит словарь думать на лету.
В классическом VQ ключи заменяются ближайшими центроидами из статичного словаря. Это бустит вычисления, но создает проблему: словарь обучен на одних данных, а во время генерации модель видит совсем другое распределение ключей. Ошибка квантования растет, внимание теряет точность и как итог: VQ начинает плавать.
Так вот, модификация в том, чтобы отказаться от статического словаря в пользу адаптивного к текущей последовательности: каждый новый токен обновляет только один центроид - тот, к которому ближе всего.
Это разреженное обновление работает как защита от катастрофического забывания: старая информация не вымывается новой волной токенов, а аккуратно перезаписывается по мере необходимости.
Плюс есть хард-лимит на размер состояния, после достижения которого объем памяти перестает расти, а вычисления становятся строго линейными.
🟡Результаты тестовых экспериментов
🟢Модель, обученная на 4К токенах, уверенно справлялась с контекстом до 64К без деградации качества;
🟢На внутриконтекстном поиске OVQ почти не отставала от полноценного самовнимания, потребляя при этом в 4 раза меньше памяти;
🟢На In-Context Learning VQ провалился, а OVQ вышла на уровень классического внимания, используя всего ~4К центроидов;
🟢Сравнения с линейными альтернативами (Mamba2 и дельта-сети) тоже в пользу OVQ: она стабильнее держит долгий контекст без просадок точности;
🟠В задачах Positional ICR OVQA работает чуть хуже, чем классическое внимание но все равно достойно.
Очень хочется надеяться, что OVQ - это предтеча настоящего непрерывного обучения, где в светлом будущем вместо бесконечно пухнущего KV-кэша появится компактная, но живая память, способная удерживать важные детали без потерь.
🟡Статья
🟡Arxiv
@ai_machinelearning_big_data
#AI#ML#LLM#OVQA#Zyphra
Кризис DRAM меняет рынок и подход к обучению современного ИИ.
✔️ Рынок захлестнул дефицит оперативной памяти и других накопителей: ИИ-гиганты выкупили огромные объёмы DRAM, HBM и NAND. Nvidia, по слухам, прекращает поставлять дистрибьюторам видеопамять в комплекте с GPU — теперь её нужно закупать отдельно. На текущий момент цены на SSD и оперативную память выросли на 50-100% по сравнению с началом года. Производители ноутбуков и смартфонов фиксируют задержки поставок, а комплект DDR5 на 64 ГБ уже стоит дороже PS5. 🤯
✔️ Мы спросили Гигачат, как кризис повлияет на развитие нейросетей и обучение моделей. ИИ-помощник формулирует так: "Дефицит памяти — это временный дисбаланс между взрывным ростом ИИ-индустрии и производственными мощностями, которые просто не успели масштабироваться под такой спрос. Высокая стоимость памяти заставляет компании переосмыслить подходы к обучению: вместо наращивания "железа напролом" фокус смещается на эффективные архитектуры и методы.". Подробнее — в видео.
@ai_machinelearning_big_data
#ai#llm#ml#ramcrisis#infrastructure
Lune AI Secures $500K Funding
Lune AI has successfully raised $500K in funding. The company specializes in developing accurate AI models specifically trained on technical documentation. More details can be found on their website: Lune AI.
#AI#Funding#TechDocumentation#Startup#Investment
❤️🔥Те, кто пишет “С др, здоровья” уже 10 лет подряд, точно оценят.
Яндекс Клавиатура выкатил фичу «Поздравить».
Умные подсказки от YandexGPT облегчают муки творчества — просто выберите стиль, добавьте имя и пару слов от себя.
И всё — можно отправлять! 🎉Адресат в шоке после многолетнего “С днюхой”.
👉 Установить Яндекс Клавиатуру можно в Google Play или App Store — ищите «Яндекс Клавиатура».
#ИИ#AI#Нейросети#YandexGPT
———
#Инструменты#Клавиатура
✍️ Подписывайтесь: @aiforproduct
🤩🤩🤩🤩🤩🤩🤩🤩
13 января по окончании Божественной Литургии Мужской хор "Русский формат" под управлением протодиакона Серафима Дубанова поздравил прихожан Храма в честь ☺️вятых и Исповедников Российских в ☺️утове колядками, песнопениями, стихами прославляющими ☺️ождество ☺️ристово.
🤩🤩🤩🤩🤩🤩🤩🤩
#колядки2026#видео#рождествохристово#храмнабутовскомполигоне#отецкириллкаледа#хоррф#русскийформат#дубановсерафим
EDPS Issues Guidance on Data Protection for Generative AI Systems
The European Data Protection Supervisor (EDPS) has released new guidance on ensuring data protection compliance when using generative AI systems. This guidance is pivotal, given the EDPS's crucial role in the AI Act.
According to the AI Act, the EDPS will:
✅ Establish AI regulatory sandboxes for EUIs
✅ Participate as an observer in the European AI Board
✅ Supervise EUIs under the AIA
✅ Act as a market surveillance authority for EUIs
✅ Impose administrative fines on EUIs.
These roles mean that the EDPS's interpretations and guidance on AI development and use will significantly impact other AI operators.
Despite lack of specificity in some areas, the guidance provides a good initial overview of key challenges in generative AI.
#AI#DataProtection#EDPS#AIAct#GenerativeAI
🌐OECD Report Seeks Clear Terminology for AI Agents and Agentic AI
The Organisation for Economic Co-operation and Development (OECD) has published a report examining the concepts of “AI agents” and “agentic AI” and the distinction between them. The report analyses how both terms are used in existing literature and evaluates their meaning through the lens of the OECD definition of an AI system.
The study aims to establish more precise and consistent terminology around these concepts. By reviewing current academic and policy discussions, the report highlights differences in how the terms are applied and seeks to clarify their use in the context of AI governance and research.
#AI#AIGovernance#AITerminology#AIRegulation#OECD