TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #378 · 10.06

В шестой серии Stranger Things один персонаж отвечает на предложение отправиться в опасное место: «Ты просишь меня последовать за тобой в Мордор». Это вполне обычная фраза, которую легко можно встретить в разговоре в реальной жизни. Я смотрел этот эпизод, и у меня не возникло никакого диссонанса: простая беседа с метафорами. Но другой персонаж после этого спросил «Что ещё за Мордор?». Этот момент вызвал у меня сильное кратковременное удивление, но потом я вспомнил, что в сериале показаны 80-е. Персонаж, сказавший первую фразу, по сюжету гик, нерд, любитель сложных настольных игр — он наверняка читал фентези. А вот массовая культура ещё о Властелине Колец ничего не знает, потому что не вышло кино. Его фраза для других примерно то же самое, что в наше время я бы сказал: «Ты предлагаешь мне долететь до Мекатол Рекс» — узкий нишевый контент, ничего не значащий с точки зрения обывателя. В наше время даже бабушки, кажется, знают, что такое Мордор, и могут если не использовать, то хотя бы понять подобную метафору. Это часть общего культурного кода, новый язык, который для нас уже не новый. Но 40 лет назад и в реальной жизни какие-то люди могли обсуждать Мордор, и их почти никто вокруг не понял бы. Вот так вот авторы из настоящего смоделировали вполне реалистичную ситуацию из прошлого, которую сквозь время смотрят зрители из настоящего и понимают в ней больше, чем персонажи. Такой временной скачок туда-сюда: обогащение культурного контекста наделяет слова новым смыслом. Я в полном восторге от этой небольшой реплики! Вполне возможно, что прямо сейчас где-то ведётся обсуждение узкоспециализированного и нишевого понятия, которое через 40 лет станет знакомой всем обыденностью. #fiction

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #speculativedecoding

当前筛选 #speculativedecoding清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8524 · 12.09.2025 г., 11:00

⚡Speculative Cascades — как ускорить работу LLM Google Research придумали новый способ сделать большие языковые модели быстрее и дешевле. Что это такое: 🔹Каскады Сначала отвечает маленькая модель. Если задача слишком сложная - подключается большая. Так экономятся ресурсы, но качество может прыгать. 🔹Спекулятивная декодировка Маленькая модель угадывает сразу несколько слов вперёд. Большая быстро проверяет данные и подтверждает. Скорость выше, но большая модель всё равно тратит много ресурсов. 🟢Speculative Cascades Это комбинация: маленькая модель иногда отвечает полностью сама, а иногда используется как ускоритель для большой. В итоге получаем меньше затрат, больше скорости и то же качество. 🔥Что показали тесты (тестили на Gemma, T5): - быстрее, чем обычная спекулятивная декодировка - дешевле и качественнее, чем каскады - удобнее настраивать баланс «скорость ↔ качество» При том же уровне качества, что и у спекулятивной декодировки, новый метод работает быстрее (генерирует больше токенов за один вызов большой модели). А в задачах математических рассуждений получен явный апгрейд по скорости при сохранении или даже улучшении качества. LLM всё чаще используются в поиске, чатах, ассистентах. Чтобы они реально были полезными, их нужно ускорять и удешевлять. *Speculative cascades* помогают это сделать без потери качества. 🔗Подробнее: https://research.google/blog/speculative-cascades-a-hybrid-approach-for-smarter-faster-llm-inference/ @ai_machinelearning_big_data #AI#LLM#Inference#SpeculativeDecoding#Cascades#GoogleResearch