Намери подобно съдържание

Изходен канал @clockstackwheels · Post #309 · 20.04

Проблема нового Бэтмена в том, что там герой ничего не делает и ни для чего не нужен. Вообще, я могу купить идею «Сделаем Бэтмена реалистичным не так, как попытался Нолан, а по-своему, в драматически-беспросветном стиле». Но у этого подхода есть проблема: в попытке стать реалистичным он стал заурядным. Кино не зря показывает, как люди с недоумением косятся на него в костюме, поскольку это плохо согласуется с реализмом. Посудите сами: если у нас вселенная, где костюм с ушами воспринимается, как что-то серьёзное и угрожающее (а не что-то детское и нелепое), то мы, наверное, ожидаем и относительно фантастических технологий, и некоторой запредельной типично комиксовой крутости героя. А здесь: боевые сцены совсем не впечатляют, но не из-за того, что сделаны плохо, просто они по-реалистичному надрывные и сумбурные. Это уместно в каком-нибудь Крепком Орешке, но там и герой не в костюме. Ладно, по канону Бэтмен не только ниндзя и миллиардер с технологиями, но ещё и невероятно умный детектив. Может, хоть здесь фильм не проседает? Увы. Герой, конечно, разгадывает загадки Риддлера, но, если внимательно посмотреть, то смысла в этом нет никакого. Полное отсутствие разгадок привело бы персонажей ровно к такому же результату. Одного злодея вяжут из-за аудиозаписи, к которой сам Бэтмен не имеет отношения. Другого палят простые копы почти случайно. Последние события вообще развиваются независимо от решения. В итоге мы получили фильм про Бэтмена, который вроде бы и показывает нам реалистичного персонажа, а с другой стороны делает его скучным и бесполезным на протяжении всего хронометража. #fiction

Hashtags

#fiction

Резултати

Намерени 1 подобни публикации

Търсене: #lmcache

当前筛选 #lmcache清除筛选

Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

Намери подобни Прегледай

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github

Hashtags

#ai #ml #llm #lmcache #kvcache #github