TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #621 · 31.10

У меня в друзьях есть классный автор — Владимир Бычко. Владимир — проект-менеджер, ведёт реально интересный standalone-блог об управлении проектами и не только. Например, последний пост с правилами жизни — не какая-то унылая несовместимая с реальностью псевдофилософия "а ля Дуров", а действительно полезные и правильные наблюдения. Владимир один из самых интересных авторов среди моих ВК-подписок, однако, читаю я его посты крайне редко, и здесь проявляются серьёзные недостатки standalone, о чём я сейчас расскажу. Вообще, сервис-ориентированный интернет если не умирает, то, как минимум, теряет своих сторонников. Многие айтишники, интеллектуалы, авторы текстов уже высказываются о необходимости слезать с иглы корпораций, эти самые корпорации дешевеют, люди в сети активно выстраивают модели децентрализованного "веб три ноль". Дополнением к этому идёт акцент на медиа против текстов: сервисы уже не особо скрывают, что текстовая часть для них второстепенна, а внимание брошено туда, где хайп и толпы — например, в вертикальные видео и короткоживущий контент. В России этот эффект особенно заметен, именно поэтому вместо какой-нибудь устойчивой текстовой площадки большинство взрослых вменяемых авторов пишут в Telegram. Который для этого подходит чуть лучше, чем плоскогубцы для отвинчивания гаек — можно, конечно, и все мы так делали за неимением альтернатив. На этой волне неоднократно слышал призывы "уходи в standalone". Сделай свой сайт с RSS-фидом, любым оформлением, пиши туда. Как автор блога, я и правда мог бы такое сделать и даже видеть немало плюсов. Но, как читатель, я до сих пор не подписан ни на один standalone-блог, даже если мне очень нравится контент. Проанализировал основные четыре проблемы стэндэлонов. 1. Люди всё равно приходят из соцсетей, но ссылки в соцсетях оформлены некрасиво, понижаются в охватах и требуют дополнительное действие со стороны человека. Последнее особенно важно: конверсия в прочтение критически низкая даже для встроенных редакторов лонгридов и даже при условии, что пользователю сообщение со ссылкой покажется (например Telegram > Telegraph). 2. RSS это не замена ленте сообщений. Нет удобного централизованного способа читать RSS в формате той площадки, которая тебе близка. Сам Владимир, например, ссылается на RSS-бота для Телеграма, который требует для своей работы быть подписанным на какой-то канал. Ну ладно, есть нормальные RSS-боты везде, но это всё опять же выглядит как лента с внешними ссылками, а не как лента сообщений в формате площадки. 3. У каждого стэндэлона свой дизайн. Если я впервые на странице нового для себя автора ВК или в Telegram, я тут всё знаю. Мне привычно и удобно. Я знаком с навигацией, я привык к шрифтам, я знаю, где лайки и комментарии. К каждому новому стэндэлону нужно привыкать и тратить когнитивные ресурсы на обучение. 4. Обсуждений нет, если нет комьюнити. Да, какой-нибудь Вастрик смог создать вокруг своего стэндэлон-блога комьюнити, за которое люди даже платят. Но это единичные примеры. Обсуждения в ЖЖ работали, потому что был социальный граф: люди знали топовых авторов и более менее знали друг друга. Обсуждения в соцсетях работают по той же причине, пока в них есть аудитория: часть людей связана социальным графом, другая часть может в этот граф заходить со стороны и чувствовать себя комфортно, кроме случаев токсичной атмосферы. Но если мы проанализируем, как ведут себя обсуждения там, где социального графа нет (например, на YouTube), то увидим просто всплески очень ограниченных локальных диалогов под каким-то особо популярным комментарием и всё. Комьюнити там нет за редкими исключениями. Интернету пока ещё точно рано standalone. Только авторы, уже собравшие огромную аудиторию через соцсети, могут себе такое позволить. И то, с оговорками. #web

Hashtags

Резултати

Намерени 2 подобни публикации

Търсене: #kvcache

当前筛选 #kvcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github

Machinelearning

@ai_machinelearning_big_data · Post #8010 · 10.07.2025 г., 11:37

⚡️ Китайские исследователи из Shanghai Jiao Tong и Zhejiang University представили MemOS — первую в мире "операционную систему памяти" для ИИ. Обычные LLM быстро забывают информацию, а дообучать их — долго и дорого. В новой работе предлагают радикально другой подход: MemOS превращает память в часть операционной системы. 🟢Память как файлы: Модель может *записывать, перемещать и удалять* знания, как будто работает с файлами, и делать это прямо во время работы, а не только на этапе обучения. 🟢MemCube — контейнер знаний: Каждое знание упаковывается в кубик с метками времени и авторства. Планировщик сам решает, где хранить этот "куб" — в тексте, GPU‑кэше или в виде маленького патча весов. 🟢Умная экономия: MemOS работает с 1500 токенами памяти, но достигает такой же точности, как если бы модель загружала весь контекст. При этом скорость — как у облегчённых моделей. 🟢Мгновенная подгрузка: На тестах с Qwen2.5‑72B переключение нужных "кубов" в кэш снижает задержку первого токена на 91.4%, *без изменения ответа*. 🟢Результаты: MemOS набрал 73.31 балла по LLM‑Judge на LOCOMO-бенчмарке — почти на 9 баллов больше ближайшего конкурента. Особенно хорошо работает на сложных задачах с несколькими шагами и временными зависимостями. 💡 Итог: память как ОС — это не просто удобно, это ускоряет модель, повышает точность и даёт контроль над знаниями. Установка: pip install MemoryOS 🟠GitHub 🟠Проект @ai_machinelearning_big_data #MemoryOS#agentmemory#rag#kvcache