TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #53 · 23.06

Instagram запустил у себя ТикТок (назвал его Reels) и так же агрессивно, как ВК, впаривает пользователям: у некоторых уже заменилась самая главная кнопка — создание нового поста — на иконку Reels. Но здесь у меня меньше бомбит, чем от действий ВК. Во-первых, в инстаграме короткие видеоролики выглядят уместно. Они здесь и раньше были в основной ленте, просто теперь фактически то же самое в новом интерфейсе. «Соцсеть» с самого своего основания сконцентрирована на коротком жвачкоподобном контенте без вдумчивости. Во-вторых, инстаграм уже давно был, прямо скажем, не самым внимательным к пользователю сервисом. Некоторые люди ведут его вопреки, потому что там массовая аудитория (менее взыскательная), но плюются от неудобства и бестолковых ограничений. А кто мог терпеть всё, что там делалось, стерпит и кнопку. Куда показательнее другой момент: корпорации-монополисты могут позволить себе делать ну практически что угодно. И если в экономике монополию стараются пресекать специальными законами, но монополии различных сервисов и соцсетей живут себе спокойно. Причём, при наличии социального графа такие монополии очень прочны: вы можете вместо айфона купить себе андроид сегодня же, и ваших друзей это затронет слабо, но переехать из какого-нибудь Фейсбука в ВК так просто не выйдет. Именно поэтому мы видим ситуации, когда самым популярным становится сервис, уступающий конкурентам вообще по всем показателям, и на порядок менее удобный (например WhatsApp и Telegram). И поэтому, в числе прочего, крупные игроки строят экосистемы и пытаются создать внутри себя копии популярных решений конкурентов. Если привязать пользователя и сделать процесс ухода для него сложным и некомфортным, то потом можно ему хоть рекламой всё забивать, хоть кнопки менять, хоть глупые функции добавлять в главное меню — никуда он уже не денется, скушает за милую душу. В антиутопическом будущем по такому же принципу корпорации будут вшивать людям лишние предметы в тело, а те вместо отказа от услуг станут придумывать способы, как с этими предметами жить наиболее эффективно. Ещё и курсы откроют по обучению: «Раскрутка с топором в заднем проходе», «Как набрать первую воду в мешок на шее» и «Учимся таргетировать магнит в кишках на правильные объекты». #web

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #lmcache

当前筛选 #lmcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github