TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #606 · 23.10

Вы, скорее всего, уже читали, что Netflix с ноября вводит новый тариф: дешевле, чем остальные ($7 в месяц против $14 за обычный тариф), но с рекламой в начале и в середине фильма. Прикиньте, платишь за Нетфликс, а смотришь телевизор. Ад, в который я не очень хочу возвращаться: в детстве возможностей смотреть кино или мультики, кроме как по телевизору, особо не было. Да, был видеомагнитофон, но не будешь же каждый день себе новую кассету покупать. А на российском телевидении не слишком уважали время зрителя: реклама была часто и длинная, за фильм 4-5 вставок по несколько минут. Причем, худшая реклама это та, которая переключает ваш фокус внимания и блокирует доступ к контенту, который вас на самом деле интересует. Баннер сбоку страницы не мешает вам читать статью и не выдёргивает вас из текста. Баннер посреди статьи не мешает читать, но переключает ваше внимание на время. А всплывающий баннер поверх страницы — и читать мешает, и внимание переключает. Представьте, если его невозможно закрыть несколько минут, а ещё он со звуком — никто бы на такие сайты в здравом уме не стал бы ходить. Но в девяностых мы так смотрели фильмы по телевизору, это была неизбежная реальность, у которой практически не было альтернатив именно с точки зрения регулярного просмотра. Это из тех ситуаций, про которые ясно: тогда тебе не казалось происходящее чем-то ужасным, но когда ты ощутил, насколько бывает лучше, возвращение назад стало бы страданием. Например, я не могу представить, как мы жили без сервисов такси, но жили же. И с ужасной длинной неотключаемой нетаргетированной рекламой тоже жили, хотя сейчас мысли о ней вызывают ужас. Но аналитики Нетфликс считают, что достаточное число людей будут готовы смотреть рекламу, чтобы не платить на $7 в месяц больше. В мобильных играх вроде как похожая статистика: за избавление от рекламы платят около 20% постоянных игроков, остальные смотрят неотключаемые прероллы. И вообще, отсутствие платного тарифа у соцсетей и других сервисов говорит само за себя. Почему не существует платного Инстаграма без рекламы? Меня это очень сильно удивляет, и, на мой взгляд, это одно из следствий каких-то глубинных проблем современного человека: согласие на что-то плохое и неприятное, потому что трата денег ощущается как более плохое и неприятное. Хотя, если подумать, вот математика для Нетфликса: допустим я смотрю две серии любимого сериала в день, получаю около минуты рекламных вставок в каждой, итого это час времени в месяц. То есть я могу отдать час за $7. Конечно, не все люди получают $7 в час, даже в западном мире, хотя средняя зарплата в США после налогов около $15-20 в час. И это на работе, занимаясь более приятным делом, чем просмотр рекламы. Как ни крути: если человек беден, он вообще на платные развлекательные сервисы не должен подписываться, а искать бесплатные или дешёвые альтернативы, но ещё лучше — заниматься своей жизнью, пытаться поднимать доходы. Если же он обычный человек с работой и зарплатой, то почему он в принципе может предпочесть смотреть рекламу, а не заплатить за её отсутствие? Как и почему мысль работает в эту сторону? Я уверен, мир в целом стал бы лучше, если бы люди научились не соглашаться на подобное. P.S. Но русских Нетфликс забанил, так что я их послал. Привет, Кинопаб :) #web#life

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #lmcache

当前筛选 #lmcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github