Quaere similia

В 2023 мы с Айраной Монгуш и Давидом Дале сделали первый Тувинско-Русский ИИ переводчик — раньше Google и Яндекса. Опубликовали на конференции по машинному переводу WMT 2024. С тех пор я думал: а если без интернета? Прямо на телефоне? Взял Gemma3 1B, обучил на Colab, запустил на CPU. Вот скрин — живые переводы, ~500мс, без GPU. Модель пока сырая. Иногда галлюцинирует. Но когда попадает — попадает точно. Это работающая система. Дальше хочу добиться реального качества: — iOS через Core ML (моя основная среда) — 4-bit квантизация для мобильного — Правильно организовать "трубу" (пайплан) — основная проблема — Организовать более гибкий системный промпт (фью-шот промптинг) — Почистить датасет и обогатить синтетически — Сравнить несколько моделей — Выпустить офлайн-приложение для тувинцев 💬 Что сейчас работает для low-resource MT с ~300к парами? Интересно всё — архитектуры, трюки при обучении, способы улучшить качество на маленьком датасете. #NLP#Gemma3#iOS#CoreML#TuvanLanguage#EdgeAI#Google

#go#gemma3#go#gpt_oss#granite4#llama#llama3#llm#on_device_ai#phi3#qwen3#qwen3vl#sdk#stable_diffusion#vlm NexaSDK runs AI models locally on CPUs, GPUs, and NPUs with a single command, supports GGUF/MLX/.nexa formats, and offers NPU-first Android and macOS support for fast, multimodal (text, image, audio) inference, plus an OpenAI‑compatible API for easy integration. This gives you low-latency, private on-device AI across laptops, phones, and embedded systems, reduces cloud costs and data exposure, and lets you deploy and test new models immediately on target hardware for faster development and better user experience. https://github.com/NexaAI/nexa-sdk