מצא תוכן דומה

В 2023 мы с Айраной Монгуш и Давидом Дале сделали первый Тувинско-Русский ИИ переводчик — раньше Google и Яндекса. Опубликовали на конференции по машинному переводу WMT 2024. С тех пор я думал: а если без интернета? Прямо на телефоне? Взял Gemma3 1B, обучил на Colab, запустил на CPU. Вот скрин — живые переводы, ~500мс, без GPU. Модель пока сырая. Иногда галлюцинирует. Но когда попадает — попадает точно. Это работающая система. Дальше хочу добиться реального качества: — iOS через Core ML (моя основная среда) — 4-bit квантизация для мобильного — Правильно организовать "трубу" (пайплан) — основная проблема — Организовать более гибкий системный промпт (фью-шот промптинг) — Почистить датасет и обогатить синтетически — Сравнить несколько моделей — Выпустить офлайн-приложение для тувинцев 💬 Что сейчас работает для low-resource MT с ~300к парами? Интересно всё — архитектуры, трюки при обучении, способы улучшить качество на маленьком датасете. #NLP#Gemma3#iOS#CoreML#TuvanLanguage#EdgeAI#Google