TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #982 · 7.05

Некоторые люди захейтили тему со сворачиванием пакетов, а Сергей даже написал большой антипост. Поэтому я решил порассуждать о бытовой оптимизации. На нашу организацию быта влияют три вещи: удобство, цена (в широком смысле, включая затраты времени) и приемлемость для общества. Например, выкидывать мусор в окно это удобно, быстро и бесплатно, но неприемлемо, поэтому, даже если кто-то так делает, его наказывают. Выкидывать мусор посреди собственной комнаты это быстро, приемлемо, но неудобно, поэтому тут уже люди сами себя ограничивают. Беда в том, что все три показателя в некоторой степени субъективны, даже последний. Парковаться двумя колёсами на тротуаре это приемлемо или нет? Для меня нет, и вроде даже какие-то законы против этого существуют, но де-факто в жилых дворах куча народу так делает, и никто им шины не протыкает и стёкла не бьёт. Потому что есть негласный общественный договор, что приоритет места для автомобилей во дворе выше, чем приоритет места для прогулок с колясками. Конкретно я для себя выработал в этом отношении такое правило: я не делаю то, за что критикую других. Если меня в принципе волнует проблема запаркованности дворов, то сам я во дворе не паркуюсь, и это даёт мне в моих глазах право эту проблему вообще обсуждать. И это право мне важнее, чем машина под окнами. А дальше уже идёт очень классическое "Как сделать так, чтобы волнующую тебя проблему заметило больше людей". Хорошего решения никто до сих пор не придумал, но всё, что есть, сводится более менее к расширению своего влияния. Можно попытаться стать политиком и повлиять на законы, можно попытаться стать богатым и переехать в собственный дом, можно попытаться стать лидером мнений и поднимать общественные движения. С удобством и ценой то же самое: у каждого человека есть личные взгляды на то, что нужно делать в быту, и какие затраты для этого оправданы. Кто-то делает уборку в квартире каждый день, кто-то раз в месяц, а кто-то — никогда. Здесь уже оценку можно провести разве что по впечатлению от некоторого усреднённого поведения людей в твоём обществе. В основном люди не кладут мусор посреди своей гостиной. В основном люди не моют окна каждый день. Субъективно я давно заметил, что моя страсть к порядку выше, чем в среднем по больнице. Когда я прихожу к кому-то в гости, я чаще вижу там то, что с моей точки зрения является отсутствием организации вещей. Иногда меня от этого коробит, и я где-то внутри кричу "Боже, как вы можете так жить?". Но глобально я смирился и подстроился. Моя жена склонна к порядку в той же степени, что и я, и тоже любит раскладывать всё по местам и поддерживать чистоту. А вместе с друзьями я не живу. Так что организация хранения пакетов в моём случае служит сразу двум вещам. Во-первых, мне приятно, что они организованы, и 30 секунд на сворачивание не являются для меня какой-то значимой ценой. Во-вторых, из всех нашумевших экологических проблем некоторые я считаю действительно серьёзными, и объём неразлагающегося мусора — одна из них. Если я хотя бы чуть-чуть могу уменьшить количество пакетов, которые будут выбрасываться (мной или людьми, которым понравилось решение по хранению пакетов и превращению их в мусорные) — я буду это делать. #life

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #lmcache

当前筛选 #lmcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github