TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #406 · 1.07

Хотел сделать большое видео об этом, но пора признаться себе, что у меня никогда не будет на него времени (чтобы сделать качественно и интересно). Поэтому расскажу вам так. Уже второй сезон езжу вот на такой технике: трицикл Can-Am Spyder 2008 года. Решение его купить основывалось на трёх пунктах. 1. Очень давно присматривался и хотел попробовать 2. Никогда не езжу в городе и вообще не использую мотоцикл как транспорт, а только как средство для удовольствия в свободных от пробок местах 3. Катать жену более безопасным образом :) Сразу скажу: техника ровно такая, какой выглядит — очень спорная, очень своеобразная. Центральный недостаток с точки зрения внешнего наблюдателя обычно выглядит так: от мотоцикла ты вроде бы ожидаешь возможности ездить сквозь пробки, а если уж нет, тогда логично взять автомобиль — он комфортнее, может ездить в дождь и снег, везти больше вещей. Это всё правда, я сейчас езжу на автомобиле в том числе, и могу со всей ответственностью заявить, что автомобиль комфортнее и удобнее как способ передвижения. Дело только в том, что мотоцикл это не способ передвижения. Я писал об этом давно, ещё когда ездил на двухколёсной технике. Для перемещения своего тела из точки А в точку Б крайне непрактично использовать транспорт, который наиболее опасен именно в плотном потоке машин, требует специальной одежды и обуви, не позволяет с собой взять много вещей, одинаково плох и в дождь и в жару. Мотоцикл это средство для катания ради кайфа. Ты выбираешь под это время и место. И вот тут трицикл показывает себя хорошо: проходимость в пробках не важна, потому что ты в любом случае не выбрал бы пробки. Вообще, по секрету вам скажу, мотоциклисты не испытывают удовольствия от необходимости протискиваться между рядами. Это довольно стрессово — тебе приходится постоянно следить, чтобы и тебя никто не прижал, и ты никому зеркало не снёс. Рука устаёт от работы сцепления и тормоза. Толкотня, выхлопы, агрессивные взбешённые из-за долгого стояния водители. А если у тебя не компактный городской нейкед, а широкий павер-круизер или Голда, тебе порой вообще лучше занимать в пробке машиноместо и стоять вместе со всеми. В каком-то смысле даже лучше, если у тебя нет выбора "стоять в пробке или пытаться тесниться с опасностью и стрессом для себя". Зато, если ты выезжаешь ранним утром или поздним вечером на кольцевую, ЗСД, в область и в другие подобные места, чтобы прокатиться с ветерком, либо едешь в дальняк — вот здесь у трицикла есть ряд серьёзных преимуществ. Самое главное это безопасность: тебе не страшны ямы, колдобины, рельсы, разметка и скользкая дорога. У тебя нет опасности завалиться на бок, словить вобблинг или боковой ветер. Как следствие, ты можешь ездить, например, в обычной обуви и относительно простой плотной одежде. Поездки в дождь, если уж пришлось, тоже существенно проще. При этом ощущения полностью мотоциклетные — динамика и обзор, чувство скорости и управление — всё как у мото (на эту штуку нужны мотоциклектные права, и вообще по документам это мотоцикл). Ты получаешь такие же эмоции, при этом меньше рискуя: отлично подходит для тех, у кого взаимоотношения с мототехникой это не адреналиновая наркомания, а просто способ приобретать определённые впечатления, недоступные другим способом. Ну и много мелочей сверху: больше вещей с собой везёшь (спереди багажник под крышкой), на пересечённой местности не страшно завалиться на грязи, меньше устаёшь сам (не нужно держать равновесие корпусом), легче ездить вдвоём с кем-то и т.д. Скоро собираюсь в средний дальняк (до этого ездил в маленький), буду вам рассказывать по пути. #moto#hobby

Hashtags

Резултати

Намерени 2 подобни публикации

Търсене: #kvcache

当前筛选 #kvcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github

Machinelearning

@ai_machinelearning_big_data · Post #8010 · 10.07.2025 г., 11:37

⚡️ Китайские исследователи из Shanghai Jiao Tong и Zhejiang University представили MemOS — первую в мире "операционную систему памяти" для ИИ. Обычные LLM быстро забывают информацию, а дообучать их — долго и дорого. В новой работе предлагают радикально другой подход: MemOS превращает память в часть операционной системы. 🟢Память как файлы: Модель может *записывать, перемещать и удалять* знания, как будто работает с файлами, и делать это прямо во время работы, а не только на этапе обучения. 🟢MemCube — контейнер знаний: Каждое знание упаковывается в кубик с метками времени и авторства. Планировщик сам решает, где хранить этот "куб" — в тексте, GPU‑кэше или в виде маленького патча весов. 🟢Умная экономия: MemOS работает с 1500 токенами памяти, но достигает такой же точности, как если бы модель загружала весь контекст. При этом скорость — как у облегчённых моделей. 🟢Мгновенная подгрузка: На тестах с Qwen2.5‑72B переключение нужных "кубов" в кэш снижает задержку первого токена на 91.4%, *без изменения ответа*. 🟢Результаты: MemOS набрал 73.31 балла по LLM‑Judge на LOCOMO-бенчмарке — почти на 9 баллов больше ближайшего конкурента. Особенно хорошо работает на сложных задачах с несколькими шагами и временными зависимостями. 💡 Итог: память как ОС — это не просто удобно, это ускоряет модель, повышает точность и даёт контроль над знаниями. Установка: pip install MemoryOS 🟠GitHub 🟠Проект @ai_machinelearning_big_data #MemoryOS#agentmemory#rag#kvcache