TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #368 · 31.05

В первой серии нового сезона Stranger Things показывают баскетбольный матч, идущий параллельно с партией в настольную игру. Монтаж специально сделан такой, чтобы сопоставить эти две вещи: вот и там и там атака, а вот и там и там игроки в напряжении из-за сложностей, а вот им нужен командный дух итд. Игрок пафосно берет мяч / игрок пафосно берет кубик d20. Несколькими сценами ранее лидер движения настольщиков подшучивает над баскетболистами в стиле: "Вы задроты и занимаетесь какой-то ерундой, а мы вот реально интересными вещами". Да, именно так, настольщик говорит это баскетболисту, а не наоборот, как можно было подумать. Мысль о том, что гики и ботаники это новые популярные люди была раскрыта ещё 10 лет назад в фильме 21 Jump Street (который у нас к сожалению довольно глупо перевели как "Мачо и ботан"). Устарел классический стереотип американской школы — популярный спортивный парень, который играет в футбол или баскетбол, любимец девушек, не слишком умный интеллектуально и со скверным характером противопоставляется главному герою: умному, но несколько асоциальному ботанику. В фильме есть эпизод, когда герой говорит другу надеть рюкзак обеими лямками, как носят гики, потому что одной — как носили спортивные "хулиганы" — уже не модно и моветон. Герои Stranger Things размышляют об этом в первой серии: давайте, мол, перестанем быть задротами и начнем тусить с крутыми. Но в их реальности это выглядит не слишком правдоподобно. Эти парни и без того успешны, уверены в себе, обладают хорошим чувством юмора, над ними никто не стебется, у них есть девушки (одна из которых дважды спасла мир, чем не перестает хвастаться её парень). Не слишком веришь, что для них есть хоть какой-то резон стремиться в тусовки к простым и одномерным спортсменам-красавчикам. В Sex Education похожая тема: главный герой и внешне и по характеру откровенный ботаник, что не мешает ему ни иметь друзей, ни пользоваться уважением, ни даже влюбить в себя девушку из тусовки "популярных" пафосных чик. В фильме Wish I Was Here бородатый нерд создаёт себе костюм-скафандр для посещения комикс-конвента. Поначалу этот персонаж кажется тем, у кого вообще не бывает отношений в привычном нам смысле: слишком увлечённым какими-то "несерьёзными", "детскими" вещами, удалёнными от "настоящей реальной жизни". Его соседка — симпатичная девушка — приходит жаловаться на шум, и оказывается, что она тоже фанатка комиксов, тоже косплеер, у них завязываются отношения, один идут на конвент вместе. Это всё не выдумка. Киберспорт собирает стадионы, а стримеры и блогеры — новые звёзды. Теория Большого Взрыва долгое время была самым популярным сериалом в США. Абсолютные мировые топы по сборам в кино берут комиксы про супергероев. Рынок настольных игр взлетает в небеса, и давно вышел далеко за пределы каких-то банальных вещей вроде "Монополии", а тематические каналы на Ютубе ведут взрослые дядьки с семьями и детьми. Гик-культура больше не нишевая, теперь это просто культура. Я кидаю d20 и прохожу проверку на публикацию поста. #hobby#fiction

Резултати

Намерени 1 подобни публикации

Търсене: #lmcache

当前筛选 #lmcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github