🧠 В каких случаях и как нужно ускорять инференс LLM
Инференсом ML-модели называют процесс её работы на конечном устройстве. Следовательно, его ускорение напрямую повышает скорость работы модели.
Специалист из команды YandexGPT рассказывает про методы дистилляции, квантизации и дополнительные способы, такие как Speculative Decoding. Также автор делится опытом преодоления технических сложностей при внедрении LLM в реальные продукты.
Перейти к изучению методов ускорения инференса LLM
#ai#теория
🚨 Google готовится взорвать интернет: нейросеть, которая за секунды превратит ЛЮБОЙ текст в научпоп-тикток!
📝 Как это работает:
— Ваш документ/книга/записки сжимаются до короткого сценария
— Диктор зачитывает текст (с ИИ-озвучкой?)
— На фоне — тематическая анимация/видеоряд (спасибо видеогенератору Veo 3 под капотом)
🔥 Что известно:
1. Скорее всего, это апгрейд их модели Veo 3 (ранее генерировала HD-видео по запросу) — теперь с упором на «упаковку» сложного текста в формат для TikTok-аудитории.
2. Сегодня, 14 мая, ждём демо на Google I/O (старт в 19:00 МСК). Возможно, ответ на OpenAI Sora?
💡 Зачем это нужно:
— Автоматизация создания контента для блогеров/медиа "из коробки"
— Видеолекции из учебников за пару кликов
— В перспективе — личный «тиктокер» для каждого юзера?
P.S. Если Google добавит мемные переходы и шазам-эффекты — TikTok умрёт от зависти. Ждём анонса! 👀
#GoogleIO#AI#Veo3#NeuralNetworks
https://t.me/semasci
↗️Инфографика: кто побеждает в гонке AI-чатботов (январь 2026)
Собрали свежие данные Similarweb Global AI Tracker в одну инфографику. Чем её сделали и как повторить за 5 минут - расскажем в конце. А сначала - к цифрам, они того стоят.
➡️Что случилось с рынком AI за год:
- ChatGPT потерял 22 п.п. доли трафика (87% → 64,5%)
- Gemini вырос в 3,8 раза и забрал 21,5%
- Вдвоём они контролируют 86% рынка
Но самое интересное: Claude, Perplexity, Grok - у каждого 2–3,5% веб-трафика. Казалось бы, мелочь. Но нет.
Perplexity вырос на 370% за год. Не потому что «тоже чатбот», а потому что занял нишу AI-поиска с источниками - и в ней стал первым.
Claude при скромных 2% веб-трафика генерирует $2+ млрд годовой выручки. Ставка на enterprise и разработчиков - основное использование идёт через API и Claude Code, а это трафик, который Similarweb не считает.
А Copilot при всей мощи Microsoft застрял на 1,1%. Встройка в экосистему - необходимое условие, но не достаточное. Нужен ещё продукт, к которому возвращаются.
➡️Напрашивается вывод: рынок AI вошёл в знакомую фазу: один гигант теряет монополию, второй растёт на дистрибуции, а остальные выживают только через нишевание. Побеждает не «ещё один чатбот», а тот, кто чётко ответил: для кого и зачем.
Это работает далеко не только для AI-продуктов.
🔥Теперь про инструмент. Эта инфографика сгенерирована одним промптом в боте NanoBananaArt. Модель Nano Banana Pro от Google научилась делать инфографику на уровне, который раньше требовал дизайнера. Один промпт - и готовая деловая графика с диаграммами, иконками и аналитикой. Без Figma, без итераций. Можно взять свои референсы (прошлые профессиональные графики) и воссоздать в том же стиле.
Промпт выглядит так:
Создай инфографику в деловом стиле. Тёмный фон, акценты бирюзовый и оранжевый. Иконки, диаграммы, крупные цифры...[вставляете данные, которые нужно]
Заплатите от 50 рублей за генерацию. А если считать, сколько стоят 3–4 часа работы дизайнера - это, считайте, даром.
#ИИ#AI#Нейросети#NanoBanana
———
#Инструменты#Графика
✍️ Подписывайтесь: @aiforproduct
🔥OpenAI представили GPT Image 1.5 — свой ответ Banana Pro, Grok и другим моделям генерации картинок
Компания запустила новую модель для генерации и редактирования изображений прямо в ChatGPT.
Теперь это универсальный инструмент для дизайна, маркетинга, иллюстраций и соцсетей.
И основная сила даже не в генерации новых картинок, а возможности быстро и контролируемо редактировать ранее созданные...
А супер приятно то, что она доступна всем пользователям ChatGPT бесплатно (лимиты есть, но щедрые) и очень удобна в общении...
Ссылки для тестов и изучения:
→Попробовать в ChatGPT: chatgpt.com/images
→Официальный анонс: openai.com
→Гайд по промптингу: cookbook.openai.com
Ваше мнение? Уже тестировали? Делитесь результатами в комментариях! 👇
Добавил картинки по моим любимым промптам:
1. Барышня в русском нарядном кафтане сидит на красивой резной веранде, подносит чашку ко рту и пьет чай из чашки. Второй рукой барышня держит блюдце. Чашка и блюдце раскрашены гжелью. Рядом с барышней на столе стоит самовар, над самоваром виден пар.
2. Кошка гуляет через траву на улицах заброшенного города. Вид камеры всегда на лицо кошки.
3. Кот играет на баяне песню "про кота" на берегу моря на закате. Солнце стремительно заходит за горизонт, свет темнеет.
#ChatGPT#OpenAI#ГенеративноеИИ#нейросети#дизайн#AI
https://t.me/semasci
🌟Как YouTube ускорил проверку валидных рекомендаций в LLM в 948 раз.
YouTube и Google DeepMind опубликовали статью и код фреймворка STATIC.
Проблема, которую он решает, хорошо знакома всем, кто строит рекомендательные системы на базе LLM: модель генерирует идентификаторы позиций, которых нет в каталоге, вышли из продажи или нарушают бизнес-правила. Именно поэтому YouTube выдает старые видео в ленте там, где должны появляться ролики последней недели.
Очевидное решение - префиксное дерево: на каждом шаге декодирования маска блокирует невалидные токены. Работает в целом нормально, но убивает производительность на TPU и GPU. Причины две:
🟠Обход через цепочки указателей создает случайный, несмежный паттерн доступа к памяти, а память ускорителей рассчитана на потоковое чтение блоками, а не на такой режим.
🟠Гугловский XLA-компилятор требует статических вычислительных графов, а префиксное дерево с управлением потоком, зависящим от данных, в это не вписывается.
В итоге префиксное дерево на CPU удваивает время инференса, что для системы с целевой задержкой ≤10 мс на шаг неприемлемо.
STATIC меняет подход принципиально: дерево разворачивается в статическую разреженную матрицу формата Compressed Sparse Row. Обход превращается в векторизованную операцию, которую акселератор умеет выполнять нативно.
Для первых двух уровней дерева, где коэффициент ветвления максимален, используется предвычисленная плотная булева маска: проверка валидности токена сводится к прямому обращению по индексу, без какого-либо перебора.
Для глубоких уровней работает специализированное ядро Vectorized Node Transition Kernel, оно читает фиксированный блок данных вне зависимости от реального числа дочерних узлов, не создавая условных переходов. В этом и есть вся соль: весь граф остается статическим, XLA не перекомпилирует ничего на ходу.
🟡Тесты и результаты
Замеры проводили на TPU v6e с 3B-моделью и словарем из 20 млн. свежих видео.
STATIC добился задержки 0,033 мс на шаг декодирования (это всего 0,25% от общего времени инференса.
Для сравнения: префиксное дерево на CPU давало +31,3 мс (239% от инференса), лучший из конкурирующих методов непосредственно на акселераторе, PPV Approximate +1,56 мс (11,9%). Итоговый профит:
🟢948x против дерева на CPU;
🟢47x против PPV Approximate;
🟢1033x против точного PPV.
По памяти: ~90 МБ на 1 млн. элементов. Для словаря в 20 млн. верхний предел по HBM примерно 1,5 ГБ, на практике - около 75% от этого значения.
🟡STATIC развернут на YouTube в продакшне.
A/B-тест с условием «только видео за последние 7 дней» показал +5,1% просмотров свежего контента, +2,9% для трехдневного окна, +0,15% по CTR и 100% соответствие бизнес-правилам.
Дополнительный бонус: метод решает проблему рекомендации новых товаров, не представленных в обучающей выборке. На датасете Amazon Reviews Recall@1 вырос с 0% до 1,2–4,4% в зависимости от категории.
В репозитории лежит ноутбук, на котором без утомительной настройки можно сразу посмотреть, как строится индекс из Semantic ID и как запускается декодирование с ограничениями.
📌Лицензирование: Apache 2.0 License.
🟡Arxiv
🖥GitHub
@ai_machinelearning_big_data
#AI#ML#LLM#STATIC#DeepMind
What EdgeMarket is building goes beyond traditional prediction markets.
Most platforms stop at speculation.
EdgeMarket is focused on structured truth resolution infrastructure.
The system combines:
⚡ AI assisted signal analysis
⚡ Decentralized market forecasting
⚡ Validator based outcome verification
⚡ Cross network participation through BSC + Telegram ecosystems
⚡ Incentive aligned truth validation
Users will be able to:
• Create their own markets
• Predict real world events
• Validate outcomes
• Earn through participation and verification
• Build reputation through accurate resolution activity
The long term vision is a scalable oracle and intelligence layer where markets become a mechanism for discovering probability, consensus, and emerging signal faster than traditional systems.
BSC provides scalable liquidity infrastructure.
Telegram provides viral distribution and native user participation.
AI helps filter noise and surface stronger signal.
This creates a hybrid system where human intelligence, markets, and machine analysis work together.
The objective is not just prediction.
It is building a decentralized framework for measurable truth.
🌐https://edgemarket.ai
#EdgeMarket#SIGNAL#BETON#PredictionMarkets#AI#TON#BNB#Web3
The internet has a misinformation problem.
Prediction markets alone do not solve it.
AI alone does not solve it.
EdgeMarket combines both into a system where signal is continuously tested by markets, validators, incentives, and outcome verification.
The architecture is designed around four core layers:
⚡ Market Creation
Anyone can create real world prediction events across politics, macro, finance, sports, culture, or breaking news.
⚡ Signal Discovery
Markets naturally surface crowd intelligence, emerging probabilities, and informational edge before traditional systems react.
⚡ Truth Validation
Validators participate in decentralized outcome resolution using reputation systems, staking logic, and AI assisted verification frameworks.
⚡ Reward Infrastructure
Participants are rewarded through ecosystem incentives tied to accurate forecasting and truthful validation.
Telegram integration is critical because it allows prediction infrastructure to become native social infrastructure.
Instead of forcing users into complex onboarding, EdgeMarket aims to make participation frictionless directly through Telegram and cross chain integrations.
The long term opportunity is massive:
A decentralized layer for forecasting, consensus, truth verification, and collective intelligence.
Not just prediction markets.
A programmable truth economy.
🌐https://edgemarket.ai
#EdgeMarket#BETON#SIGNAL#PredictionMarkets#AI#TON#BNB#Web3
Наконец-то доделал небольшой ролик про фантастических существ.
Было интересно попробовать анимировать при помощи ИИ самых разных представителей фэнтези-фауны.
Получилось пока не всё, что хотел. Но в целом тест неплохой) Как-нибудь продолжу.
https://www.youtube.com/watch?v=dxL1egTgamE
#ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3