⚡️Mamba-3 тихо и без объявления вышла на ICLR - и это может стать началом конца эпохи Transformers.
Новая архитектура Mamba-3 делает модели быстрее, стабильнее и эффективнее при работе с длинными контекстами.
Главная идея - не в слоях внимания, а в state-space моделях, где модель хранит и обновляет внутреннее состояние во времени.
📘Краткие эускурс:
- Mamba-1 ввела непрерывную динамику и выборочное обновление памяти - помнила эффективно без высокой цены attention.
- Mamba-2 показала, что обновления состояния и attention - это две стороны одной математики, что ускорило вычисления на GPU.
- Mamba-3 довела концепцию до зрелости: теперь внутренняя память развивается плавнее и устойчивее за счёт перехода от простого шага Эйлера к трапецеидальному интегрированию.
Вместо простого шага Эйлера, как в Mamba-2, Mamba-3 аппроксимирует интеграл обновления состояния не только по правому концу интервала, но усреднением между началом и концом, с коэффициентом λ, зависящим от данных. Это даёт более точное приближение (второго порядка) и делает динамику состояния более выразительной.
🧠Что изменилось под капотом:
- Память стала «ритмичной»: теперь модель может хранить повторяющиеся и периодические паттерны (например, структуры языка или музыки).
- Новый multi-input-multi-output дизайн позволяет обрабатывать несколько потоков параллельно — идеально для современных GPU.
⚙️Что это даёт на практике:
- Эффективная работа с длинными последовательностями: документы, геномы, временные ряды.
- Линейное время выполнения и стабильная задержка делают её идеальной для реального времени: чат-ботов, перевода, речи.
- Энергоэффективность и масштабируемость открывают путь к on-device AI, где большие модели работают локально, без облака.
Mamba-3 - это не просто ускоренная альтернатива Transformers.
Это новая архитектура, которая объединяет глубокое понимание контекста, скорость и устойчивость, от серверных систем до умных устройств.
🟢Подробности: https://openreview.net/pdf?id=HwCvaJOiCj
@ai_machinelearning_big_data
#ssm#mamba3#llm,#architecture#ai
⚡️Команда Google Research представила технологию живого перевода речи в речь, которая позволяет говорить на одном языке и почти мгновенно слышать перевод на другом.
Раньше процесс проходил через три этапа: распознавание речи, перевод текста и синтез новой речи, из-за чего задержка могла достигать десятков секунд.
Исследователи оптимизировали весь конвейер, сделали обработку более устойчивой и сократили время реакции. Перевод звучит естественнее, меньше «подправляется» в реальном времени, а паузы стали значительно короче.
Технология приближает момент, когда люди смогут свободно общаться, даже если не знают языка собеседника.
https://research.google/blog/real-time-speech-to-speech-translation
@ai_machinelearning_big_data
#Google#AI#Translation#SpeechToSpeech#GoogleResearch
🧠 У Казахстана будет свой суперкомпьютер. Не один.
На GITEX AI анонсировали национальный суперкомпьютер Al-Farabium (в честь аль-Фараби). Это вычислительное сердце казахстанского ИИ: обучение языковых моделей, климатическое моделирование, медицинские датасеты, оборонные задачи.
Инфраструктура:
▪️ Сеть дата-центров вырастет в 5 раз к 2030 году — сотни мегаватт мощности.
▪️ Партнёры: Cisco, Dell, Huawei, Google Cloud. Реальные вендоры, не «потёмкинские деревни».
▪️ Часть мощностей — коммерческий доступ для стартапов и вузов.
Важность: в ИИ побеждает, у кого данные, таланты и вычисления. С данными и талантами в регионе сложно, но вычислительную мощность можно построить за деньги и волю. И то, и другое найдено.
Инфраструктура для ИИ — новая нефть. Мы её не покупаем, мы её добываем.
#GITEX#AI#Alfarabium#Суперкомпьютер#Казахстан
🚀 Hong Kong and China Sign Memorandum to Boost AI and Blockchain Collaboration
Hong Kong's Secretary for Innovation, Technology and Industry, Sun Dong, and Wang Jingtao, Deputy Director of China's Cyberspace Administration, have signed a memorandum of cooperation. According to Foresight News, the agreement focuses on advancing key areas such as artificial intelligence, cross-border data, and blockchain. The initiative aims to implement China's 15th Five-Year Plan, support Hong Kong's development as an international innovation and technology hub, and promote a new economy driven by technological innovation. The collaboration seeks to enhance Hong Kong's integration into national development strategies. Both parties will strengthen cooperation to advance new productivity, deepen cybersecurity collaboration, and enhance international exchanges and promotion.
#HongKong#China#AI#Blockchain#Innovation#Technology#Collaboration#Data#Cybersecurity#NewEconomy#InternationalExchange