TGTGInsighttelegram intelligenceLIVE / telegram public index
← GitHub Trends

TGINSIGHT SIMILAR POSTS

Find similar content

Source channel @githubtrending · Post #15362 · Dec 23

#python#audio_generation#diffusion#image_generation#inference#model_serving#multimodal#pytorch#transformer#video_generation vLLM-Omni is a free, open-source tool that makes serving AI models for text, images, videos, and audio fast, easy, and cheap. It builds on vLLM for top speed using smart memory tricks, overlapping tasks, and flexible resource sharing across GPUs. You get 2x higher throughput, 35% less delay, and simple setup with Hugging Face models via OpenAI API—perfect for building quick multi-modal apps like chatbots or media generators without high costs. https://github.com/vllm-project/vllm-omni

Results

1 similar post found

Search: #functiongemma

当前筛选 #functiongemma清除筛选
Семён: Нейросети в каждый дом

@semasci · Post #1394 · 12/22/2025, 05:14 AM

Google выпустила ИИ, который работает в телефоне БЕЗ интернета 🤯 Это FunctionGemma. Модель, которая все меняет. 📱Что это? —270 млн параметров (в 6600 раз меньше GPT-4!) —Весит всего 288 МБ (меньше мобильной игры) —Работает полностью на устройстве —Никаких серверов, облака и отправки данных ⚡Как работает? Вы говорите:«Добавь контакт Маша, +7 999 123-45-67» → ИИ понимает команду → Превращает её в код → Телефон выполняет. Всё за 0,3 секунды. Без интернета. 🔒Почему это прорыв? •Конфиденциальность: данные никуда не уходят •Скорость: 126 токенов/сек, ответы мгновенные •Эффективность: 25 диалогов = всего 0,75% батареи •Оффлайн: работает где угодно — в метро, самолёте, горах 🎯Что уже умеет? —Ставить будильники —Создавать встречи в календаре —Включать/выключать умные устройства —Прокладывать маршруты —Вести простой трекинг (например, выпитой воды) 🚀 Но главное — это смена парадигмы. Не «чем больше модель — тем лучше», а «правильный ИИ для правильной задачи». Маленькая,но идеально обученная модель на устройстве может быть лучше огромного облачного ИИ. Будущее ИИ — не в дата-центрах, а в вашем кармане. И оно уже здесь. Где попробовать? →Скачать: ollama pull functiongemma →Документация: https://ai.google.dev/gemma/docs/functiongemma →Модель: https://huggingface.co/google/functiongemma-270m-it P.S. Если интересно — лайк и репост помогают каналу расти! Подписывайтесь, чтобы не пропустить главное об ИИ. #GoogleAI#FunctionGemma#оффлайнИИ Https://t.me/semasci