Machinelearning

⚡️ Google представила Coral NPU - открытую платформу для создания умных ИИ-устройств на Эйдж девайсах Это полный стек для разработки локального искусственного интеллекта, который работает без облака и практически без задержек. Coral NPU - это новый тип нейропроцессора (Neural Processing Unit), созданный для умных гаджетов, IoT и носимых устройств. Можно обучать и запускать модели прямо на устройствах с низким энергопотреблением - от датчиков и дронов до мини-роботов и камер. Coral NPU позволяет делать это быстро и безопасно. 🧩 Врунти: - SDK и инструменты для TensorFlow Lite и ONNX - Компилятор, квантование и оптимизация моделей - Поддержка Python, C++ и микроконтроллеров Как это работает 1. Модель обучается (в TensorFlow / PyTorch). 2. Компилятор Coral NPU превращает её в оптимизированный код через MLIR → IREE → NPU binary. 3. Код работает прямо на устройстве, используя: - RISC-V (управляет задачами) - Векторные блоки( выполняют параллельные операции) - Матричные ускорители MAC (считают нейронные сети за милливатты энер)гии. Результат - ИИ-инференс с производительностью до 512 миллиардов операций в секунду, при этом устройство потребляет очень мало ресурсов и не передаёт данные в облако. Edge AI получает свою открытую архитектуру от Google. Подробнее: https://research.google/blog/coral-npu-a-full-stack-platform-for-edge-ai/ @ai_machinelearning_big_data #EdgeAI#GoogleResearch#CoralNPU#RISC_V#AIHardware

✔️GenAI прямо на устройстве: Chrome, Chromebook Plus и Pixel Watch с LiteRT-LM Google выпустили LiteRT-LM - фреймворк для запуска LLM прямо на устройстве (offline), с минимальной задержкой и без API-вызовов. Если вы пилите приложения, это полезная штука, потому что: - Работает на устройстве: нет задержек от удалённых серверов - Нет расходов на API - Дает доступ к Локальному GenAI 🔍 Основное - LiteRT-LM уже используется внутри Gemini Nano / Gemma в Chrome, Chromebook Plus и Pixel Watch. - Открытый C++ интерфейс (preview) для интеграции в кастомные решения. - Архитектура: Engine + Session • Engine хранит базовую модель, ресурсы - общий для всех функций • Session - контекст для отдельных задач, с возможностью клонирования, копирования “по записи” (Copy-on-Write) и лёгких переключений - Поддержка аппаратного ускорения (CPU / GPU / NPU) и кроссплатформенность (Android, Linux, macOS, Windows и др.) - Для Pixel Watch используется минимальный “pipeline” - только необходимые компоненты - чтобы уложиться в ограничения памяти и размера бинарей Google опенсорснули целый стек для запуска GenAI на устройствах: - LiteRT быстрый «движок», который запускает отдельные AI-модели на устройстве. - LiteRT-LM - интерфейс C++ для работы с LLM. Он объединяет сразу несколько инстурментов : кэширование промптов, хранение контекста, клонирование сессий и т.д. - LLM Inference API - готовые интерфейсы для разработчиков (Kotlin, Swift, JS). Работают поверх LiteRT-LM, чтобы можно было легко встраивать GenAI в приложения. 🟠Подробнее: https://developers.googleblog.com/en/on-device-genai-in-chrome-chromebook-plus-and-pixel-watch-with-litert-lm/ @ai_machinelearning_big_data #AI#Google#LiteRT#LiteRTLM#GenAI#EdgeAI#OnDeviceAI#LLM