TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #522 · 31.08

Криптобиржа SudoRare установила мировой рекорд по скоростному соскамливанию — пишут в интернетах. Всего за шесть часов с момента запуска организаторы собрали с лохов почти лям баксов и свалили в закат. Я адский хейтер крипты и могу часами рассказывать о том, почему мне не нравится, как человечество обошлось с этой технологией. Новости, вроде той, что выше, как, впрочем, и вполне серьёзные новости про появление вещей вроде NFT вызывают во мне смесь бессилия и истерики. Каждый день читаю что-то подобное, человечество долбанулось. Даже Дуров недавно написал про крипту и словил двадцать тысяч минусов, полностью отключив из-за этого реакции у себя на канале. Подумал о том, что можно оценивать вещь по тому, в каких сценариях и какие люди её используют. Например, хлеб едят в том числе преступники, и он позволяет им не умирать от голода и продолжать творить свои преступления — это плохо. Но хлеб едят и обычные люди, дети, старики, законопослушные. Суммарное добро от существования хлеба на много порядков превышает любое возможное зло от него. Двигаемся по шкале сложности оценки чуть дальше: видеоигры вызывают у детей и подростков зависимость, портят зрение и расшатывают нестабильную детскую психику. Но в то же время миллионам людей они позволяют получать удовольствие, расслабляться, проводить досуг. А многим ещё и зарабатывать. Причем, как на самих играх (киберспорт), так и на их создании. Ещё дальше на шкале будет оружие и, например, алкоголь. Уже нельзя однозначно сказать, являются ли эти вещи скорее добром или скорее злом. Так вот крипта за ~10 лет активного существования толком не принесла человечеству пользы. Хотя потенциал у технологии был, о децентрализованном свободном от корпораций интернете до сих пор пишут только в теоретических статьях (половина из которых критические). Однако вреда, обмана, мошенничества и просто пустого слива денег в унитаз очень много: начиная от заработков спекулянтов и заканчивая очередным криптостартапом, получающим миллионные инвестиции за страничку в Notion. Отдельные люди на этом наварились (чаще всего не сделав совершенно ничего полезного), и это только добавляет очков в минус, примерно по той же причине, по которой нельзя считать добром обогащение владельцев Кэшбери. Кажется, никакую технологию люди не умудрились использовать настолько бездарно, как крипту. Даже от ядерного оружия и автомобилей, при их очевидной деструктивности, есть польза. Есть ощущение, что это связано именно с периодом развития людской расы, а не конкретно с технологией: просто у нас уже очень много всего, и мы зажрались, бесимся с жиру. Если будет появляться что-то новое прорывное, судьба у него будет незавидная: не удивлюсь, если сильный ИИ посадят придумывать, как показать народу больше рекламы, а не как искать лекарство от рака. #web

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #lmcache

当前筛选 #lmcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github