TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #982 · 7.05

Некоторые люди захейтили тему со сворачиванием пакетов, а Сергей даже написал большой антипост. Поэтому я решил порассуждать о бытовой оптимизации. На нашу организацию быта влияют три вещи: удобство, цена (в широком смысле, включая затраты времени) и приемлемость для общества. Например, выкидывать мусор в окно это удобно, быстро и бесплатно, но неприемлемо, поэтому, даже если кто-то так делает, его наказывают. Выкидывать мусор посреди собственной комнаты это быстро, приемлемо, но неудобно, поэтому тут уже люди сами себя ограничивают. Беда в том, что все три показателя в некоторой степени субъективны, даже последний. Парковаться двумя колёсами на тротуаре это приемлемо или нет? Для меня нет, и вроде даже какие-то законы против этого существуют, но де-факто в жилых дворах куча народу так делает, и никто им шины не протыкает и стёкла не бьёт. Потому что есть негласный общественный договор, что приоритет места для автомобилей во дворе выше, чем приоритет места для прогулок с колясками. Конкретно я для себя выработал в этом отношении такое правило: я не делаю то, за что критикую других. Если меня в принципе волнует проблема запаркованности дворов, то сам я во дворе не паркуюсь, и это даёт мне в моих глазах право эту проблему вообще обсуждать. И это право мне важнее, чем машина под окнами. А дальше уже идёт очень классическое "Как сделать так, чтобы волнующую тебя проблему заметило больше людей". Хорошего решения никто до сих пор не придумал, но всё, что есть, сводится более менее к расширению своего влияния. Можно попытаться стать политиком и повлиять на законы, можно попытаться стать богатым и переехать в собственный дом, можно попытаться стать лидером мнений и поднимать общественные движения. С удобством и ценой то же самое: у каждого человека есть личные взгляды на то, что нужно делать в быту, и какие затраты для этого оправданы. Кто-то делает уборку в квартире каждый день, кто-то раз в месяц, а кто-то — никогда. Здесь уже оценку можно провести разве что по впечатлению от некоторого усреднённого поведения людей в твоём обществе. В основном люди не кладут мусор посреди своей гостиной. В основном люди не моют окна каждый день. Субъективно я давно заметил, что моя страсть к порядку выше, чем в среднем по больнице. Когда я прихожу к кому-то в гости, я чаще вижу там то, что с моей точки зрения является отсутствием организации вещей. Иногда меня от этого коробит, и я где-то внутри кричу "Боже, как вы можете так жить?". Но глобально я смирился и подстроился. Моя жена склонна к порядку в той же степени, что и я, и тоже любит раскладывать всё по местам и поддерживать чистоту. А вместе с друзьями я не живу. Так что организация хранения пакетов в моём случае служит сразу двум вещам. Во-первых, мне приятно, что они организованы, и 30 секунд на сворачивание не являются для меня какой-то значимой ценой. Во-вторых, из всех нашумевших экологических проблем некоторые я считаю действительно серьёзными, и объём неразлагающегося мусора — одна из них. Если я хотя бы чуть-чуть могу уменьшить количество пакетов, которые будут выбрасываться (мной или людьми, которым понравилось решение по хранению пакетов и превращению их в мусорные) — я буду это делать. #life

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #speculativedecoding

当前筛选 #speculativedecoding清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8524 · 12.09.2025 г., 11:00

⚡Speculative Cascades — как ускорить работу LLM Google Research придумали новый способ сделать большие языковые модели быстрее и дешевле. Что это такое: 🔹Каскады Сначала отвечает маленькая модель. Если задача слишком сложная - подключается большая. Так экономятся ресурсы, но качество может прыгать. 🔹Спекулятивная декодировка Маленькая модель угадывает сразу несколько слов вперёд. Большая быстро проверяет данные и подтверждает. Скорость выше, но большая модель всё равно тратит много ресурсов. 🟢Speculative Cascades Это комбинация: маленькая модель иногда отвечает полностью сама, а иногда используется как ускоритель для большой. В итоге получаем меньше затрат, больше скорости и то же качество. 🔥Что показали тесты (тестили на Gemma, T5): - быстрее, чем обычная спекулятивная декодировка - дешевле и качественнее, чем каскады - удобнее настраивать баланс «скорость ↔ качество» При том же уровне качества, что и у спекулятивной декодировки, новый метод работает быстрее (генерирует больше токенов за один вызов большой модели). А в задачах математических рассуждений получен явный апгрейд по скорости при сохранении или даже улучшении качества. LLM всё чаще используются в поиске, чатах, ассистентах. Чтобы они реально были полезными, их нужно ускорять и удешевлять. *Speculative cascades* помогают это сделать без потери качества. 🔗Подробнее: https://research.google/blog/speculative-cascades-a-hybrid-approach-for-smarter-faster-llm-inference/ @ai_machinelearning_big_data #AI#LLM#Inference#SpeculativeDecoding#Cascades#GoogleResearch