Најди сличен содржај

🌟Как YouTube ускорил проверку валидных рекомендаций в LLM в 948 раз. YouTube и Google DeepMind опубликовали статью и код фреймворка STATIC. Проблема, которую он решает, хорошо знакома всем, кто строит рекомендательные системы на базе LLM: модель генерирует идентификаторы позиций, которых нет в каталоге, вышли из продажи или нарушают бизнес-правила. Именно поэтому YouTube выдает старые видео в ленте там, где должны появляться ролики последней недели. Очевидное решение - префиксное дерево: на каждом шаге декодирования маска блокирует невалидные токены. Работает в целом нормально, но убивает производительность на TPU и GPU. Причины две: 🟠Обход через цепочки указателей создает случайный, несмежный паттерн доступа к памяти, а память ускорителей рассчитана на потоковое чтение блоками, а не на такой режим. 🟠Гугловский XLA-компилятор требует статических вычислительных графов, а префиксное дерево с управлением потоком, зависящим от данных, в это не вписывается. В итоге префиксное дерево на CPU удваивает время инференса, что для системы с целевой задержкой ≤10 мс на шаг неприемлемо. STATIC меняет подход принципиально: дерево разворачивается в статическую разреженную матрицу формата Compressed Sparse Row. Обход превращается в векторизованную операцию, которую акселератор умеет выполнять нативно. Для первых двух уровней дерева, где коэффициент ветвления максимален, используется предвычисленная плотная булева маска: проверка валидности токена сводится к прямому обращению по индексу, без какого-либо перебора. Для глубоких уровней работает специализированное ядро Vectorized Node Transition Kernel, оно читает фиксированный блок данных вне зависимости от реального числа дочерних узлов, не создавая условных переходов. В этом и есть вся соль: весь граф остается статическим, XLA не перекомпилирует ничего на ходу. 🟡Тесты и результаты Замеры проводили на TPU v6e с 3B-моделью и словарем из 20 млн. свежих видео. STATIC добился задержки 0,033 мс на шаг декодирования (это всего 0,25% от общего времени инференса. Для сравнения: префиксное дерево на CPU давало +31,3 мс (239% от инференса), лучший из конкурирующих методов непосредственно на акселераторе, PPV Approximate +1,56 мс (11,9%). Итоговый профит: 🟢948x против дерева на CPU; 🟢47x против PPV Approximate; 🟢1033x против точного PPV. По памяти: ~90 МБ на 1 млн. элементов. Для словаря в 20 млн. верхний предел по HBM примерно 1,5 ГБ, на практике - около 75% от этого значения. 🟡STATIC развернут на YouTube в продакшне. A/B-тест с условием «только видео за последние 7 дней» показал +5,1% просмотров свежего контента, +2,9% для трехдневного окна, +0,15% по CTR и 100% соответствие бизнес-правилам. Дополнительный бонус: метод решает проблему рекомендации новых товаров, не представленных в обучающей выборке. На датасете Amazon Reviews Recall@1 вырос с 0% до 1,2–4,4% в зависимости от категории. В репозитории лежит ноутбук, на котором без утомительной настройки можно сразу посмотреть, как строится индекс из Semantic ID и как запускается декодирование с ограничениями. 📌Лицензирование: Apache 2.0 License. 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI#ML#LLM#STATIC#DeepMind

Доброе утро. #crypto Поищите закономерность, кто за кем ходит и в какой последовательности, 15 мин график. Как лонг, так и шорт. #ont#ong#btc#wif Позволит вам заработать. @kolgotada

Reddit 上一位 freelance 码农表示感谢 AI coder 的流行祂现在能接到更多帮忙修复 AI 烂摊子的活儿了 其实一开始在长毛象上看到转的三手 xitter 链接于是就去 reddit 上找了原帖。 #reddit#coding#careee#AI#tech

🎧⤴ 🤑TON's Explosive 20% Surge: Is This Telegram's Crypto Moment to Hit $10? Toncoin (TON), the cryptocurrency associated with Telegram, has experienced a dramatic 20% price surge, reaching $6.40 following its listing on South Korea's largest stock exchange. The layer-1 blockchain shows strong momentum as it eyes the $10 milestone, supported by its U.S. market expansion and increased derivatives trading activity. Currently sitting at an RSI of 71, TON maintains bullish momentum despite being in overbought territory, while trading volume and open interest continue to climb significantly. ► Full News (Expand) Verse 1: Digital waves rising, can't you feel the heat? TON is climbing, making bears retreat From Korea to the States, expansion mode Breaking barriers on this crypto road Twenty percent up, that's how we roll Market momentum, taking control Telegram's token, bout to explode Breaking records, time to unload Chorus: TON to the moon, watch us fly Breaking through ceilings, touching the sky From six to ten, we're on our way This is our moment, this is our day Verse 2: Trading volume's soaring through the roof Derivatives market showing proof Bulls are charging, bears step aside RSI high but we're still on the ride Strategic moves, calculated plays Market optimism lights the ways South Korea listing, that's the key Opening doors for you and me Chorus: TON to the moon, watch us fly Breaking through ceilings, touching the sky From six to ten, we're on our way This is our moment, this is our day Verse 3: Remember when we started way down low Now we're climbing, putting on a show Resistance at seven, we'll break through Ten dollars coming, dreams coming true Market momentum, cannot be stopped Global adoption, cream of the crop Telegram's vision, finally clear Future of finance, revolution's here Chorus: TON to the moon, watch us fly Breaking through ceilings, touching the sky From six to ten, we're on our way This is our moment, this is our day Bridge: From the bottom to the top TON won't ever gonna stop Breaking barriers, making history This is crypto victory! #CryptoMooning#TONcoin#CryptoTrading#TON #TONCryptoNewsRapStyle 🎧@toncoin_rap

Наконец-то доделал небольшой ролик про фантастических существ. Было интересно попробовать анимировать при помощи ИИ самых разных представителей фэнтези-фауны. Получилось пока не всё, что хотел. Но в целом тест неплохой) Как-нибудь продолжу. https://www.youtube.com/watch?v=dxL1egTgamE #ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3

Почти любой владелец крупной собаки: "Он просто хочет поиграть..." Как это видят люди: #ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3

Что такое осень? Осень - это пора тёплых напитков, уютных вечеров в окружении книг, сериалов и... И ужастиков) Попробовал сегодня новый для себя генератор Minimax. Получается весьма бодро и плавно, минимум замедленных движений. Жаль, что пока нельзя прикрутить туда своё изображение. Поэтому пока просто баловство) Очередь на сайте большая, генерит долго. Пришлось часть сцен "склеить" Gen-3) Музыка: Birthday Massacre - Blue https://youtu.be/JZ9NvbhjHtk #ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3

А вот и сам клип, который я закончил делать вчера) Композицию написал мой отец и было это очень давно. Я ещё в школу ходил:) В этом году он захотел сделать ремастеринг, а я её оживил. Лёгкая, волшебная музыка. Сюжет был придуман соответствующий. https://www.youtube.com/watch?v=iEW85QuYq0U #ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3

Наконец-то закончил очередной клип для крупного музыкального проекта. Скоро поделюсь результатом, а пока что выкладываю один из вариантов будущей обложки для трека. Сама композиция называется "Apparition" (видение, явление). Было решено сделать что-то волшебное на тематику приключений в мире снов. Сюжет пришлось придумывать практически с нуля) #ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3

Придуманная не так давно стилистика вылилась в итоге в небольшую историю о Золотом Городе. Безмятежный, сокрытый в железных горах, манящий к себе искателей приключений и жаждущих обрести Знание. Полный прекрасных статуй и чудес архитектуры. Но всё ли так хорошо и спокойно в этом месте? А вот об этом уже во второй части) Картинки: Midjourney Анимация: Gen-3 Музыка: Dimmu Borgir - Fear and wonder #ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3

Нашёл интересную для себя стилистику, теперь хочется в ней сделать полноценное видео) #ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3

Недавно сделал небольшое видео на тематику животного мира. Музыку я сгенерил в Suno, в Midjourney создавались изображения, а в Gen-3 - анимации. Вот такое время сейчас, почти всё можно сделать при помощи AI) #ИИ#AI#AIVideo#MalikovAI#Neuralsense#Нейросуть#ИскусственныйИнтеллект#LumaAI#Gen3