TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #606 · 23.10

Вы, скорее всего, уже читали, что Netflix с ноября вводит новый тариф: дешевле, чем остальные ($7 в месяц против $14 за обычный тариф), но с рекламой в начале и в середине фильма. Прикиньте, платишь за Нетфликс, а смотришь телевизор. Ад, в который я не очень хочу возвращаться: в детстве возможностей смотреть кино или мультики, кроме как по телевизору, особо не было. Да, был видеомагнитофон, но не будешь же каждый день себе новую кассету покупать. А на российском телевидении не слишком уважали время зрителя: реклама была часто и длинная, за фильм 4-5 вставок по несколько минут. Причем, худшая реклама это та, которая переключает ваш фокус внимания и блокирует доступ к контенту, который вас на самом деле интересует. Баннер сбоку страницы не мешает вам читать статью и не выдёргивает вас из текста. Баннер посреди статьи не мешает читать, но переключает ваше внимание на время. А всплывающий баннер поверх страницы — и читать мешает, и внимание переключает. Представьте, если его невозможно закрыть несколько минут, а ещё он со звуком — никто бы на такие сайты в здравом уме не стал бы ходить. Но в девяностых мы так смотрели фильмы по телевизору, это была неизбежная реальность, у которой практически не было альтернатив именно с точки зрения регулярного просмотра. Это из тех ситуаций, про которые ясно: тогда тебе не казалось происходящее чем-то ужасным, но когда ты ощутил, насколько бывает лучше, возвращение назад стало бы страданием. Например, я не могу представить, как мы жили без сервисов такси, но жили же. И с ужасной длинной неотключаемой нетаргетированной рекламой тоже жили, хотя сейчас мысли о ней вызывают ужас. Но аналитики Нетфликс считают, что достаточное число людей будут готовы смотреть рекламу, чтобы не платить на $7 в месяц больше. В мобильных играх вроде как похожая статистика: за избавление от рекламы платят около 20% постоянных игроков, остальные смотрят неотключаемые прероллы. И вообще, отсутствие платного тарифа у соцсетей и других сервисов говорит само за себя. Почему не существует платного Инстаграма без рекламы? Меня это очень сильно удивляет, и, на мой взгляд, это одно из следствий каких-то глубинных проблем современного человека: согласие на что-то плохое и неприятное, потому что трата денег ощущается как более плохое и неприятное. Хотя, если подумать, вот математика для Нетфликса: допустим я смотрю две серии любимого сериала в день, получаю около минуты рекламных вставок в каждой, итого это час времени в месяц. То есть я могу отдать час за $7. Конечно, не все люди получают $7 в час, даже в западном мире, хотя средняя зарплата в США после налогов около $15-20 в час. И это на работе, занимаясь более приятным делом, чем просмотр рекламы. Как ни крути: если человек беден, он вообще на платные развлекательные сервисы не должен подписываться, а искать бесплатные или дешёвые альтернативы, но ещё лучше — заниматься своей жизнью, пытаться поднимать доходы. Если же он обычный человек с работой и зарплатой, то почему он в принципе может предпочесть смотреть рекламу, а не заплатить за её отсутствие? Как и почему мысль работает в эту сторону? Я уверен, мир в целом стал бы лучше, если бы люди научились не соглашаться на подобное. P.S. Но русских Нетфликс забанил, так что я их послал. Привет, Кинопаб :) #web#life

Hashtags

Резултати

Намерени 2 подобни публикации

Търсене: #kvcache

当前筛选 #kvcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github

Machinelearning

@ai_machinelearning_big_data · Post #8010 · 10.07.2025 г., 11:37

⚡️ Китайские исследователи из Shanghai Jiao Tong и Zhejiang University представили MemOS — первую в мире "операционную систему памяти" для ИИ. Обычные LLM быстро забывают информацию, а дообучать их — долго и дорого. В новой работе предлагают радикально другой подход: MemOS превращает память в часть операционной системы. 🟢Память как файлы: Модель может *записывать, перемещать и удалять* знания, как будто работает с файлами, и делать это прямо во время работы, а не только на этапе обучения. 🟢MemCube — контейнер знаний: Каждое знание упаковывается в кубик с метками времени и авторства. Планировщик сам решает, где хранить этот "куб" — в тексте, GPU‑кэше или в виде маленького патча весов. 🟢Умная экономия: MemOS работает с 1500 токенами памяти, но достигает такой же точности, как если бы модель загружала весь контекст. При этом скорость — как у облегчённых моделей. 🟢Мгновенная подгрузка: На тестах с Qwen2.5‑72B переключение нужных "кубов" в кэш снижает задержку первого токена на 91.4%, *без изменения ответа*. 🟢Результаты: MemOS набрал 73.31 балла по LLM‑Judge на LOCOMO-бенчмарке — почти на 9 баллов больше ближайшего конкурента. Особенно хорошо работает на сложных задачах с несколькими шагами и временными зависимостями. 💡 Итог: память как ОС — это не просто удобно, это ускоряет модель, повышает точность и даёт контроль над знаниями. Установка: pip install MemoryOS 🟠GitHub 🟠Проект @ai_machinelearning_big_data #MemoryOS#agentmemory#rag#kvcache