TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #388 · 20.06

Telegram вчера запустил подписку Premium только на iOS. Это, кстати, очень любопытно: Павел Дуров вот уже несколько лет ведёт систематическую критику компании Apple, и совсем недавно высказался очередной раз. По его словам, умышленные ограничения устройств Apple и отставание от веб-стандартов создают наиболее значительное в наши дни препятствие для развития мобильного веба. А самой компании это нужно, чтобы привязывать разработчиков к магазину приложений и диктовать свои условия + брать процент от выручки. Это, конечно, совершенно верное замечание. Об индуцированном отставании мобильного веба у Apple я писал вот тут. Но вот Telegram выпускает важнейшее мажорное обновление только на айфонах. Понятно, что на Android тоже подтянут, я просто обращаю внимание на то, что лучше бы не словом, а делом. Подписку из России на айфонах, вроде как, люди могут купить, используя костыль с пополнением через мобильного оператора. На андроидах такого костыля нет, так что, скорее всего, Premium на андроиде будет для россиян недоступен (UPD в комментариях написали, что есть другой способ оплаты). Лично для меня из ценного там только десять закрепов и папка по-умолчанию, но это, кажется, не стоит ни возни с попытками оплатить, ни 449 рублей в месяц, которые за такую подписку просят. Тем не менее, идейно это правильная монетизация, в отличие от рекламы в том виде и на тех условиях, на которых она появилась. Поразмышлял о том, за какие функции в Telegram я бы всё-таки стал платить, и понял, что таких особо нет. Да, больше всего хотелось бы адекватное оформление каналов: текст во всю ширину экрана, возможность крепить картинки с хорошим UI, а не как сейчас. Вообще это, на мой личный взгляд, одна из самых серьёзных недоработок Телеграма, вызванная, как я понимаю, изначально "сообщенческой" природой каналов: канал это как бы чат с одним пишущим участником, со всеми вытекающими. Но было бы очень глупо делать такое обновление для небольшой доли донаторов, а все бесплатные каналы оставлять со старым ужасным внешним видом. Все остальные проблемы Телеграма тоже не выглядят, как опции для премиум-функций. За деньги добавляется дискавери, а без них нет? Ну тогда проще рекламную платформу в нормальный вид привести. Или, скажем, за деньги не так шакалятся фотографии? Но ведь возможность отправлять фото без сжатия уже есть бесплатно, просто это менее красиво и менее удобно. Не слишком правильно продавать за деньги понижение уровня неудобства, как я уже рассказывал. Впрочем, папка по-умолчанию это вот тоже оно самое: такая опция должна была быть изначально при появлении функциональности папок, потому что, если человек в принципе пользуется систематизацией, значит, ему внезапно нужна систематизация, и оставлять главный экран беспорядочным в таком случае неправильно, это полностью отключает смысл папок (мне вот они нужны, но по факту я ими не пользуюсь). И за деньги, как бы сказать, "включили" обратно эти папки, чтобы ими можно было пользоваться. По сути это нормально, как платная опция, но ведь по заявлениям компании папки бесплатны, а то, что пользоваться ими неудобно, это уже детали. Ну, посмотрим. Платные пользователи светятся у всех, хочу понаблюдать, купит ли хоть кто-нибудь из моих друзей подписку. #web

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #lmcache

当前筛选 #lmcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github