7.09.2025 состоялся релизPithon 3.14!
На фоне хайпа про NoGIL всё позабыли про другие фичи. Особенно про Multiple Interpreters, который обещает изоляцию процессов но с эффективностью потоков! На сколько действительно это будет эффективно мы узнаем позже, потому что сейчас это лишь первый релиз с ограничениями и недоработками.
Но что там про NoGIL? Теперь этот режим не экспериментальный, а официально поддерживаемый, но опциональный.
Чтобы запустить без GIL нужна специальная сборка. И перед стартом нужно объявить переменную PYTHON_GIL=0
Для вас я собрал готовый репозиторий где достаточно запустить скрпит, который всё сделает:
▫️ соберет релизный Python 3.14 в новый Docker-образ
▫️ запустит тесты в контейнере (GIL, NoGIL, MultiInterpreter)
▫️ распечатает результаты
Тест очень простой, усложняйте сами)
Вот какие результаты у меня:
=== Running ThreadPoolExecutor GIL ON
TOTAL TIME: 45.48 seconds
=== Running ThreadPoolExecutor GIL OFF
TOTAL TIME: 6.14 seconds
=== Running basic Thread GIL ON
TOTAL TIME: 45.54 seconds
=== Running basic Thread GIL OFF
TOTAL TIME: 4.74 seconds
=== Running with Multi Interpreter
TOTAL TIME: 18.30 seconds
Если сравнивать GIL и NoGIL, то на мои 32 ядра прирост х7-x10 (почему не х32? 🤷). При этом нам обещают что скорости будут расти с новыми релизами.
Режим без GIL похож (визуально) на async, тоже параллельно, тоже не по порядку. Но это не IO! и от того некоторый диссонанс в голове 😵💫, нас учили не так!
Интересно, что чистый Thread работает быстрей чем ThreadPoolExecutor без GIL.
Ну и где-то плачет один адепт мульти-интерпретаторов😭 Теперь нужно искать где они могут пригодиться с такой-то скоростью. Скорее всего своя область применения найдется.
Отдельно я затестил память и вот что вышло на 32 потока:
ThreadPoolExecutor GIL ON
305.228 MB
ThreadPoolExecutor GIL OFF
500.176 MB
basic Thread GIL ON
90.668 MB
basic Thread GIL OFF
472.444 MB
with Multi Interpreter
1267.788 MB
Пока не знаю как к этому относиться)
В целом - радует направление развития!
#release
⚡️ Google представила Coral NPU - открытую платформу для создания умных ИИ-устройств на Эйдж девайсах
Это полный стек для разработки локального искусственного интеллекта, который работает без облака и практически без задержек.
Coral NPU - это новый тип нейропроцессора (Neural Processing Unit), созданный для умных гаджетов, IoT и носимых устройств.
Можно обучать и запускать модели прямо на устройствах с низким энергопотреблением - от датчиков и дронов до мини-роботов и камер. Coral NPU позволяет делать это быстро и безопасно.
🧩 Врунти:
- SDK и инструменты для TensorFlow Lite и ONNX
- Компилятор, квантование и оптимизация моделей
- Поддержка Python, C++ и микроконтроллеров
Как это работает
1. Модель обучается (в TensorFlow / PyTorch).
2. Компилятор Coral NPU превращает её в оптимизированный код через MLIR → IREE → NPU binary.
3. Код работает прямо на устройстве, используя:
- RISC-V (управляет задачами)
- Векторные блоки( выполняют параллельные операции)
- Матричные ускорители MAC (считают нейронные сети за милливатты энер)гии.
Результат - ИИ-инференс с производительностью до 512 миллиардов операций в секунду, при этом устройство потребляет очень мало ресурсов и не передаёт данные в облако.
Edge AI получает свою открытую архитектуру от Google.
Подробнее: https://research.google/blog/coral-npu-a-full-stack-platform-for-edge-ai/
@ai_machinelearning_big_data
#EdgeAI#GoogleResearch#CoralNPU#RISC_V#AIHardware
В 2023 мы с Айраной Монгуш и Давидом Дале сделали первый Тувинско-Русский ИИ переводчик — раньше Google и Яндекса. Опубликовали на конференции по машинному переводу WMT 2024.
С тех пор я думал: а если без интернета? Прямо на телефоне?
Взял Gemma3 1B, обучил на Colab, запустил на CPU. Вот скрин — живые переводы, ~500мс, без GPU.
Модель пока сырая. Иногда галлюцинирует. Но когда попадает — попадает точно. Это работающая система.
Дальше хочу добиться реального качества:
— iOS через Core ML (моя основная среда)
— 4-bit квантизация для мобильного
— Правильно организовать "трубу" (пайплан) — основная проблема
— Организовать более гибкий системный промпт (фью-шот промптинг)
— Почистить датасет и обогатить синтетически
— Сравнить несколько моделей
— Выпустить офлайн-приложение для тувинцев
💬 Что сейчас работает для low-resource MT с ~300к парами? Интересно всё — архитектуры, трюки при обучении, способы улучшить качество на маленьком датасете.
#NLP#Gemma3#iOS#CoreML#TuvanLanguage#EdgeAI#Google
✔️GenAI прямо на устройстве: Chrome, Chromebook Plus и Pixel Watch с LiteRT-LM
Google выпустили LiteRT-LM - фреймворк для запуска LLM прямо на устройстве (offline), с минимальной задержкой и без API-вызовов.
Если вы пилите приложения, это полезная штука, потому что:
- Работает на устройстве: нет задержек от удалённых серверов
- Нет расходов на API
- Дает доступ к Локальному GenAI
🔍 Основное
- LiteRT-LM уже используется внутри Gemini Nano / Gemma в Chrome, Chromebook Plus и Pixel Watch.
- Открытый C++ интерфейс (preview) для интеграции в кастомные решения.
- Архитектура: Engine + Session
• Engine хранит базовую модель, ресурсы - общий для всех функций
• Session - контекст для отдельных задач, с возможностью клонирования, копирования “по записи” (Copy-on-Write) и лёгких переключений
- Поддержка аппаратного ускорения (CPU / GPU / NPU) и кроссплатформенность (Android, Linux, macOS, Windows и др.)
- Для Pixel Watch используется минимальный “pipeline” - только необходимые компоненты - чтобы уложиться в ограничения памяти и размера бинарей
Google опенсорснули целый стек для запуска GenAI на устройствах:
- LiteRT быстрый «движок», который запускает отдельные AI-модели на устройстве.
- LiteRT-LM - интерфейс C++ для работы с LLM. Он объединяет сразу несколько инстурментов : кэширование промптов, хранение контекста, клонирование сессий и т.д.
- LLM Inference API - готовые интерфейсы для разработчиков (Kotlin, Swift, JS). Работают поверх LiteRT-LM, чтобы можно было легко встраивать GenAI в приложения.
🟠Подробнее: https://developers.googleblog.com/en/on-device-genai-in-chrome-chromebook-plus-and-pixel-watch-with-litert-lm/
@ai_machinelearning_big_data
#AI#Google#LiteRT#LiteRTLM#GenAI#EdgeAI#OnDeviceAI#LLM
🚀 AI TRENDS | Bitcoin Mining Centralization and Edge AI Market Growth Projected
Bitcoin mining is anticipated to become increasingly centralized, according to Alex Thorn, head of Galaxy Research. According to NS3.AI, Thorn's insights suggest a shift in the mining landscape, potentially impacting the decentralization that has been a hallmark of the cryptocurrency. Meanwhile, the edge AI market is expected to experience significant growth. Grand View Research forecasts that the market will expand from approximately $25 billion in 2025 to $119 billion by 2033, indicating a trend towards more localized AI applications.
#BitcoinMining#Centralization#EdgeAI#MarketGrowth#Decentralization#AITrends#GalaxyResearch#NS3AI#GrandViewResearch#LocalizedAI#BTC