Мне очень нравится YouTube-канал Wintergatan. Вы, возможно, знаете его, но если нет, то наверняка видели 5 лет назад ролик Marble Machine — он тогда обошёл весь интернет (это НЕ тот ролик, который я приложил к посту, но тот вы без труда найдёте).
Автор канала — шведский музыкант Мартин Молин — невероятно талантливый человек. Он не только мультиинструменталист с абсолютным слухом, но ещё и обладает прекрасным инженерным чутьём и изобретательскими навыками. Последние несколько лет он собирает у себя дома вторую версию этой самой Marble Machine — электромеханического музыкального инструмента, использующего для работы тысячи металлических шариков (marbles). Процесс сборки документируется на канале, и лично мне доставляет огромное удовольствие. Как человек с музыкальной школой и инженерным дипломом за плечами, я весьма высоко оцениваю и то, что делает Мартин по творческой части, и то, что по технической. Многие его инженерные решения просты в своей гениальности, при этом очень гармоничны и элегантны — как музыка :)
Этот пример приближает меня к мысли о том, что противопоставление рациональной науки и иррационального искусства, равно как гуманитариев и технарей — не совсем верно. С какого-то расстояния и наука и искусство становятся очень похожи. Наш мир гармоничен, логичен и красив. И попытки отразить этот мир — хоть в картине, хоть в математической модели — неизбежно перенимают эти качества.
https://youtu.be/b-nU21YgXTg
#life
⚡️ Google представила Coral NPU - открытую платформу для создания умных ИИ-устройств на Эйдж девайсах
Это полный стек для разработки локального искусственного интеллекта, который работает без облака и практически без задержек.
Coral NPU - это новый тип нейропроцессора (Neural Processing Unit), созданный для умных гаджетов, IoT и носимых устройств.
Можно обучать и запускать модели прямо на устройствах с низким энергопотреблением - от датчиков и дронов до мини-роботов и камер. Coral NPU позволяет делать это быстро и безопасно.
🧩 Врунти:
- SDK и инструменты для TensorFlow Lite и ONNX
- Компилятор, квантование и оптимизация моделей
- Поддержка Python, C++ и микроконтроллеров
Как это работает
1. Модель обучается (в TensorFlow / PyTorch).
2. Компилятор Coral NPU превращает её в оптимизированный код через MLIR → IREE → NPU binary.
3. Код работает прямо на устройстве, используя:
- RISC-V (управляет задачами)
- Векторные блоки( выполняют параллельные операции)
- Матричные ускорители MAC (считают нейронные сети за милливатты энер)гии.
Результат - ИИ-инференс с производительностью до 512 миллиардов операций в секунду, при этом устройство потребляет очень мало ресурсов и не передаёт данные в облако.
Edge AI получает свою открытую архитектуру от Google.
Подробнее: https://research.google/blog/coral-npu-a-full-stack-platform-for-edge-ai/
@ai_machinelearning_big_data
#EdgeAI#GoogleResearch#CoralNPU#RISC_V#AIHardware
В 2023 мы с Айраной Монгуш и Давидом Дале сделали первый Тувинско-Русский ИИ переводчик — раньше Google и Яндекса. Опубликовали на конференции по машинному переводу WMT 2024.
С тех пор я думал: а если без интернета? Прямо на телефоне?
Взял Gemma3 1B, обучил на Colab, запустил на CPU. Вот скрин — живые переводы, ~500мс, без GPU.
Модель пока сырая. Иногда галлюцинирует. Но когда попадает — попадает точно. Это работающая система.
Дальше хочу добиться реального качества:
— iOS через Core ML (моя основная среда)
— 4-bit квантизация для мобильного
— Правильно организовать "трубу" (пайплан) — основная проблема
— Организовать более гибкий системный промпт (фью-шот промптинг)
— Почистить датасет и обогатить синтетически
— Сравнить несколько моделей
— Выпустить офлайн-приложение для тувинцев
💬 Что сейчас работает для low-resource MT с ~300к парами? Интересно всё — архитектуры, трюки при обучении, способы улучшить качество на маленьком датасете.
#NLP#Gemma3#iOS#CoreML#TuvanLanguage#EdgeAI#Google
✔️GenAI прямо на устройстве: Chrome, Chromebook Plus и Pixel Watch с LiteRT-LM
Google выпустили LiteRT-LM - фреймворк для запуска LLM прямо на устройстве (offline), с минимальной задержкой и без API-вызовов.
Если вы пилите приложения, это полезная штука, потому что:
- Работает на устройстве: нет задержек от удалённых серверов
- Нет расходов на API
- Дает доступ к Локальному GenAI
🔍 Основное
- LiteRT-LM уже используется внутри Gemini Nano / Gemma в Chrome, Chromebook Plus и Pixel Watch.
- Открытый C++ интерфейс (preview) для интеграции в кастомные решения.
- Архитектура: Engine + Session
• Engine хранит базовую модель, ресурсы - общий для всех функций
• Session - контекст для отдельных задач, с возможностью клонирования, копирования “по записи” (Copy-on-Write) и лёгких переключений
- Поддержка аппаратного ускорения (CPU / GPU / NPU) и кроссплатформенность (Android, Linux, macOS, Windows и др.)
- Для Pixel Watch используется минимальный “pipeline” - только необходимые компоненты - чтобы уложиться в ограничения памяти и размера бинарей
Google опенсорснули целый стек для запуска GenAI на устройствах:
- LiteRT быстрый «движок», который запускает отдельные AI-модели на устройстве.
- LiteRT-LM - интерфейс C++ для работы с LLM. Он объединяет сразу несколько инстурментов : кэширование промптов, хранение контекста, клонирование сессий и т.д.
- LLM Inference API - готовые интерфейсы для разработчиков (Kotlin, Swift, JS). Работают поверх LiteRT-LM, чтобы можно было легко встраивать GenAI в приложения.
🟠Подробнее: https://developers.googleblog.com/en/on-device-genai-in-chrome-chromebook-plus-and-pixel-watch-with-litert-lm/
@ai_machinelearning_big_data
#AI#Google#LiteRT#LiteRTLM#GenAI#EdgeAI#OnDeviceAI#LLM
🚀 AI TRENDS | Bitcoin Mining Centralization and Edge AI Market Growth Projected
Bitcoin mining is anticipated to become increasingly centralized, according to Alex Thorn, head of Galaxy Research. According to NS3.AI, Thorn's insights suggest a shift in the mining landscape, potentially impacting the decentralization that has been a hallmark of the cryptocurrency. Meanwhile, the edge AI market is expected to experience significant growth. Grand View Research forecasts that the market will expand from approximately $25 billion in 2025 to $119 billion by 2033, indicating a trend towards more localized AI applications.
#BitcoinMining#Centralization#EdgeAI#MarketGrowth#Decentralization#AITrends#GalaxyResearch#NS3AI#GrandViewResearch#LocalizedAI#BTC