🌟Как YouTube ускорил проверку валидных рекомендаций в LLM в 948 раз.
YouTube и Google DeepMind опубликовали статью и код фреймворка STATIC.
Проблема, которую он решает, хорошо знакома всем, кто строит рекомендательные системы на базе LLM: модель генерирует идентификаторы позиций, которых нет в каталоге, вышли из продажи или нарушают бизнес-правила. Именно поэтому YouTube выдает старые видео в ленте там, где должны появляться ролики последней недели.
Очевидное решение - префиксное дерево: на каждом шаге декодирования маска блокирует невалидные токены. Работает в целом нормально, но убивает производительность на TPU и GPU. Причины две:
🟠Обход через цепочки указателей создает случайный, несмежный паттерн доступа к памяти, а память ускорителей рассчитана на потоковое чтение блоками, а не на такой режим.
🟠Гугловский XLA-компилятор требует статических вычислительных графов, а префиксное дерево с управлением потоком, зависящим от данных, в это не вписывается.
В итоге префиксное дерево на CPU удваивает время инференса, что для системы с целевой задержкой ≤10 мс на шаг неприемлемо.
STATIC меняет подход принципиально: дерево разворачивается в статическую разреженную матрицу формата Compressed Sparse Row. Обход превращается в векторизованную операцию, которую акселератор умеет выполнять нативно.
Для первых двух уровней дерева, где коэффициент ветвления максимален, используется предвычисленная плотная булева маска: проверка валидности токена сводится к прямому обращению по индексу, без какого-либо перебора.
Для глубоких уровней работает специализированное ядро Vectorized Node Transition Kernel, оно читает фиксированный блок данных вне зависимости от реального числа дочерних узлов, не создавая условных переходов. В этом и есть вся соль: весь граф остается статическим, XLA не перекомпилирует ничего на ходу.
🟡Тесты и результаты
Замеры проводили на TPU v6e с 3B-моделью и словарем из 20 млн. свежих видео.
STATIC добился задержки 0,033 мс на шаг декодирования (это всего 0,25% от общего времени инференса.
Для сравнения: префиксное дерево на CPU давало +31,3 мс (239% от инференса), лучший из конкурирующих методов непосредственно на акселераторе, PPV Approximate +1,56 мс (11,9%). Итоговый профит:
🟢948x против дерева на CPU;
🟢47x против PPV Approximate;
🟢1033x против точного PPV.
По памяти: ~90 МБ на 1 млн. элементов. Для словаря в 20 млн. верхний предел по HBM примерно 1,5 ГБ, на практике - около 75% от этого значения.
🟡STATIC развернут на YouTube в продакшне.
A/B-тест с условием «только видео за последние 7 дней» показал +5,1% просмотров свежего контента, +2,9% для трехдневного окна, +0,15% по CTR и 100% соответствие бизнес-правилам.
Дополнительный бонус: метод решает проблему рекомендации новых товаров, не представленных в обучающей выборке. На датасете Amazon Reviews Recall@1 вырос с 0% до 1,2–4,4% в зависимости от категории.
В репозитории лежит ноутбук, на котором без утомительной настройки можно сразу посмотреть, как строится индекс из Semantic ID и как запускается декодирование с ограничениями.
📌Лицензирование: Apache 2.0 License.
🟡Arxiv
🖥GitHub
@ai_machinelearning_big_data
#AI#ML#LLM#STATIC#DeepMind
What EdgeMarket is building goes beyond traditional prediction markets.
Most platforms stop at speculation.
EdgeMarket is focused on structured truth resolution infrastructure.
The system combines:
⚡ AI assisted signal analysis
⚡ Decentralized market forecasting
⚡ Validator based outcome verification
⚡ Cross network participation through BSC + Telegram ecosystems
⚡ Incentive aligned truth validation
Users will be able to:
• Create their own markets
• Predict real world events
• Validate outcomes
• Earn through participation and verification
• Build reputation through accurate resolution activity
The long term vision is a scalable oracle and intelligence layer where markets become a mechanism for discovering probability, consensus, and emerging signal faster than traditional systems.
BSC provides scalable liquidity infrastructure.
Telegram provides viral distribution and native user participation.
AI helps filter noise and surface stronger signal.
This creates a hybrid system where human intelligence, markets, and machine analysis work together.
The objective is not just prediction.
It is building a decentralized framework for measurable truth.
🌐https://edgemarket.ai
#EdgeMarket#SIGNAL#BETON#PredictionMarkets#AI#TON#BNB#Web3
The internet has a misinformation problem.
Prediction markets alone do not solve it.
AI alone does not solve it.
EdgeMarket combines both into a system where signal is continuously tested by markets, validators, incentives, and outcome verification.
The architecture is designed around four core layers:
⚡ Market Creation
Anyone can create real world prediction events across politics, macro, finance, sports, culture, or breaking news.
⚡ Signal Discovery
Markets naturally surface crowd intelligence, emerging probabilities, and informational edge before traditional systems react.
⚡ Truth Validation
Validators participate in decentralized outcome resolution using reputation systems, staking logic, and AI assisted verification frameworks.
⚡ Reward Infrastructure
Participants are rewarded through ecosystem incentives tied to accurate forecasting and truthful validation.
Telegram integration is critical because it allows prediction infrastructure to become native social infrastructure.
Instead of forcing users into complex onboarding, EdgeMarket aims to make participation frictionless directly through Telegram and cross chain integrations.
The long term opportunity is massive:
A decentralized layer for forecasting, consensus, truth verification, and collective intelligence.
Not just prediction markets.
A programmable truth economy.
🌐https://edgemarket.ai
#EdgeMarket#BETON#SIGNAL#PredictionMarkets#AI#TON#BNB#Web3
Наконец-то доделал небольшой ролик про фантастических существ.
Было интересно попробовать анимировать при помощи ИИ самых разных представителей фэнтези-фауны.
Получилось пока не всё, что хотел. Но в целом тест неплохой) Как-нибудь продолжу.
https://www.youtube.com/watch?v=dxL1egTgamE
#ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3
Почти любой владелец крупной собаки: "Он просто хочет поиграть..."
Как это видят люди:
#ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3
Что такое осень?
Осень - это пора тёплых напитков, уютных вечеров в окружении книг, сериалов и... И ужастиков)
Попробовал сегодня новый для себя генератор Minimax. Получается весьма бодро и плавно, минимум замедленных движений. Жаль, что пока нельзя прикрутить туда своё изображение.
Поэтому пока просто баловство)
Очередь на сайте большая, генерит долго. Пришлось часть сцен "склеить" Gen-3)
Музыка: Birthday Massacre - Blue
https://youtu.be/JZ9NvbhjHtk
#ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3
А вот и сам клип, который я закончил делать вчера)
Композицию написал мой отец и было это очень давно. Я ещё в школу ходил:)
В этом году он захотел сделать ремастеринг, а я её оживил. Лёгкая, волшебная музыка. Сюжет был придуман соответствующий.
https://www.youtube.com/watch?v=iEW85QuYq0U
#ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3
Наконец-то закончил очередной клип для крупного музыкального проекта.
Скоро поделюсь результатом, а пока что выкладываю один из вариантов будущей обложки для трека.
Сама композиция называется "Apparition" (видение, явление). Было решено сделать что-то волшебное на тематику приключений в мире снов.
Сюжет пришлось придумывать практически с нуля)
#ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3
Придуманная не так давно стилистика вылилась в итоге в небольшую историю о Золотом Городе.
Безмятежный, сокрытый в железных горах, манящий к себе искателей приключений и жаждущих обрести Знание. Полный прекрасных статуй и чудес архитектуры.
Но всё ли так хорошо и спокойно в этом месте? А вот об этом уже во второй части)
Картинки: Midjourney
Анимация: Gen-3
Музыка: Dimmu Borgir - Fear and wonder
#ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3
Нашёл интересную для себя стилистику, теперь хочется в ней сделать полноценное видео)
#ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3
Недавно сделал небольшое видео на тематику животного мира.
Музыку я сгенерил в Suno, в Midjourney создавались изображения, а в Gen-3 - анимации.
Вот такое время сейчас, почти всё можно сделать при помощи AI)
#ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3