TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #983 · 11.05

Художник Gudim написал у себя в Телеграме пост о том, что главная проблема соцсетей — умные ленты. В более-менее продвинутой среде и правда принято хейтить умные ленты, включать, где возможно, хронологические, юзать альтернативные клиенты и вообще ругать корпорации за то, что они делают плохо и пользователям и авторам контента одновременно. Вездесущие умные ленты — действительно часть процесса оговнения, но дело не только в нём. Gudim сделал отсылку к классике в шутку, но на самом деле угадал: главная проблема соцсетей ровно такая же, как и главная проблема музыки — это ты. Давайте разберёмся. В теории ты подписываешься на авторов контента в соцсети, они публикуют свои посты по мере желания и готовности, посты выстраиваются в ленту, и ты от новых к старым их читаешь, подобно свежей газете или сводке новостей. Звучит хорошо до того момента, пока ты не подпишешься на условный паблик с приколами. Паблик с приколами ведут 10 человек, а сами приколы они тащат с Реддита и 9гаг, поэтому публикация занимает 5 минут. При этом от пользователей они получают охваты, которые конвертируются в деньги с рекламы. Больше охватов — больше денег. Очень быстро система приходит к тому, что им выгодно постить так часто, как они вообще способны. В идеале они хотят, чтобы вся лента каждого юзера состояла только из паблика с приколами, потому что тогда они заработают ещё больше. Вообще я лично видел рекомендации от СММщиков для пабликов ВК постить 3-5 записей в день. Каждый день. А теперь вспомните, как часто постят ваши друзья или, например, независимые авторы, которые контент не где-то берут, а создают. И вот 2-3 таких подписки, и ваша лента — неюзабельный мусор. Не обязательно паблик с приколами: спамить мотивирован вообще любой автор, потому что его доля присутствия в вашей ленте равна его заработку. Но хороший контент делается долго, на это нужно время, так что в реальности особенно удаётся спамить как раз плохому и дешёвому контенту. Как это решить: 1. "Не подписывайтесь на мусор", "Человек сам виноват, что он подписался на спам-паблик!". Да, а ещё человек совершенно добровольно решает начать курить или, скажем, принимать наркотики, но эти области всё равно в разной степени контролируются извне. Потому что авторы спам-паблика (как и наркоторговцы) ОЧЕНЬ мотивированы затянуть новых людей в свою схему заработка, и они будут использовать для этого множество разных средств, на которые неминуемо попадётся значимое число клиентов. То есть в масштабах одного конкретного человека с железной дисциплиной этот подход работает, но в масштабах системы из множества произвольных людей — нет, не работает совсем. 2. Остаётся только одно — каким-то образом фильтровать мусор. Тут возникает сразу много других проблем: начиная с того, что для разных людей понятие мусора разное, и заканчивая тем, что, да, в какой-то момент появляются ещё и интересы площадки. Площадка хочет не давать людям приятный и интересный контент, а давать людям то, что увеличивает таймспент и заработок с рекламы. И внезапно получается так, что таймспент растёт не от качества контента, кто бы мог подумать. Самые популярные в мире соцсети (Инста и Тикток) — целиком основаны на алгоритмической подаче информации. И эта информация очень "жвачкообразная" — короткая, клиповая, с быстрым захватом внимания. Так что да, если ругаете умные ленты, то просто поругайте какого-от своего друга, который пользуется Инстой, потому что именно поведение юзеров и отсутствие дисциплины у них делает такие ленты выгодными для корпораций. #web

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #lmcache

当前筛选 #lmcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github