✔️GenAI прямо на устройстве: Chrome, Chromebook Plus и Pixel Watch с LiteRT-LM
Google выпустили LiteRT-LM - фреймворк для запуска LLM прямо на устройстве (offline), с минимальной задержкой и без API-вызовов.
Если вы пилите приложения, это полезная штука, потому что:
- Работает на устройстве: нет задержек от удалённых серверов
- Нет расходов на API
- Дает доступ к Локальному GenAI
🔍 Основное
- LiteRT-LM уже используется внутри Gemini Nano / Gemma в Chrome, Chromebook Plus и Pixel Watch.
- Открытый C++ интерфейс (preview) для интеграции в кастомные решения.
- Архитектура: Engine + Session
• Engine хранит базовую модель, ресурсы - общий для всех функций
• Session - контекст для отдельных задач, с возможностью клонирования, копирования “по записи” (Copy-on-Write) и лёгких переключений
- Поддержка аппаратного ускорения (CPU / GPU / NPU) и кроссплатформенность (Android, Linux, macOS, Windows и др.)
- Для Pixel Watch используется минимальный “pipeline” - только необходимые компоненты - чтобы уложиться в ограничения памяти и размера бинарей
Google опенсорснули целый стек для запуска GenAI на устройствах:
- LiteRT быстрый «движок», который запускает отдельные AI-модели на устройстве.
- LiteRT-LM - интерфейс C++ для работы с LLM. Он объединяет сразу несколько инстурментов : кэширование промптов, хранение контекста, клонирование сессий и т.д.
- LLM Inference API - готовые интерфейсы для разработчиков (Kotlin, Swift, JS). Работают поверх LiteRT-LM, чтобы можно было легко встраивать GenAI в приложения.
🟠Подробнее: https://developers.googleblog.com/en/on-device-genai-in-chrome-chromebook-plus-and-pixel-watch-with-litert-lm/
@ai_machinelearning_big_data
#AI#Google#LiteRT#LiteRTLM#GenAI#EdgeAI#OnDeviceAI#LLM
G7 Leaders Agree on International Guiding Principles for AI Development
Hello, everybody! The G7 leaders have reached a consensus on International Guiding Principles and a voluntary Code of Conduct for AI developers under the Hiroshima AI process.
The intention is to harmonize international standards with EU regulations to ensure the responsible and trustworthy development of AI.
The eleven principles provide a roadmap for the responsible advancement, deployment, and utilization of advanced AI systems, including foundation models and generative AI.
These principles encompass commitments to address risks, prevent misuse, promote responsible information sharing, mandate incident reporting, bolster cybersecurity measures, and introduce a labeling system for AI-generated content.
#G7Leaders#AI#AIStandards#EURegulations#AIAct#AIDevelopment
🦆Вайб-кодинг воркшоп в Альфе
Вчера вечером меня позвали офлайн в Альфу как эксперта по вайб-кодингуи мы круто поработали с командой продактов и проджектов веба. Собралось человек 20 офлайн и еще 15 онлайн. Поделились на 4 команды, весело и познавательно провели время 🔥
Узнали про «новый» подход в вайб-кодинге, лучшие практики для достижения быстрых результатов и рассмотрели самые популярные инструменты для вайб-кодинга👌
Дальше за час поиграли в вайб-кодеров, создав очень прокачанную фичу для нашего необычного пользователя. В итоге: ИИ-агент Replit работал 22 минуты, написал 900 строчек кода и затратил 3,5 бакса за один раз — первый раз такое видел за весь мой опыт работы с ним 🐸
Ребята работали активно и командно, а их промпты были очень продуманными. Фича была сразу функциональной, хотя и требовала доработки. Конечно, в конце получили подарки — все что нужно для начала экспериментов 😎
Спасибо Саше Винокурову за организацию 🫶
Для подписчиков тоже есть новости, ждите следующего поста сегодня 😉
#AI#ИИ#нейросети#nocode#ноукод#tech#dev#промптинг#Replit#вайбкодинг
Funding Rounds Reach $90 Million Today
Several innovative startups secured funding on January 16-17:
- ElectraLith: $17.07M
- Micron Biomedical: $16M
- Moment Energy: $15M
- Cephagenix: $9.26M
- Micro Mitti: $8.44M
Other notable rounds:
- Eternal: $13.25M on Jan 15
- Capra Robotics: $11.63M on Jan 15
- SYNTHR: $10M on Jan 14
- Mona Lee Solar: $10M on Jan 15
- Vasco: $8M on Jan 14
Opportunity for investors in #VC, #Tech, #Energy, #Health, #Biotech, #Robotics, #RealEstate, #Crypto, #AI. Links for more info: ElectraLithMicron BiomedicalMoment EnergyEternalCapra RoboticsSYNTHRMona Lee SolarCephagenixMicro MittiVasco
#VC#Tech#Energy#Health#Biotech#Robotics#RealEstate#Crypto#AI
🎙️NVIDIA выпустили Canary-1B v2 — открытую модель для распознавания и перевода речи, которая работает с 25 европейскими языками.
Что она умеет:
- 📝 Точное ASR (распознавание речи) и AST (перевод речи) между английским и 24 другими языками.
- Автоматическая пунктуация, капитализация и точные таймстампы до слова.
- Поддержка русского, французского, немецкого, испанского и многих других языков.
Чем интересна
- До 10× быстрее инференс, чем у моделей в 3 раза больше.
- Уже показывает state-of-the-art точность среди открытых моделей на Hugging Face.
- Лицензия CC-BY-4.0 — можно свободно использовать в проектах.
Под капотом:
- Архитектура: FastConformer-энкодер + Transformer-декодер (~978M параметров).
- Форматы: .wav и .flac, моно 16 кГц.
- Легко интегрируется через NVIDIA NeMo или прямо с Hugging Face.
Где пригодится:
🟢 голосовые ассистенты
🟢 субтитры и перевод видео
🟢 чат-боты с речевым вводом
🟢 real-time анализ речи
Всего ~978M параметров → легче, быстрее и дешевле в использовании, чем большие модели конкурентов.
🟠Попробовать можно здесь: https://huggingface.co/nvidia/canary-1b-v2
🟠SET: https://huggingface.co/datasets/nvidia/Granary
🟠PARAKEET: https://huggingface.co/nvidia/parakeet-tdt-0.6b-v3
@ai_machinelearning_big_data
#AI#NVIDIA#SpeechRecognition#ASR#AST#Multilingual#MachineLearning#DeepLearning