TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #210 · 6.02

Интересно, а как сами либералы и меньшинства реагируют на очень тупую и топорную отработку повестки в куче современных кино и сериалов? Вот есть в мире вещи, которые я люблю. Есть вещи, которые идеологически мне очень близки. Но когда что-то, что я люблю и считаю правильным, используют неуместно и навязывающе, мне от этого становится неприятно. Допустим, я урбанист и считаю, что парковку во дворах надо запретить. Теперь представим, что на моей свадьбе вместо речи один из гостей начал толкать эту урбанистическую идеологию (пример вымышленный, у меня на свадьбе все гости были классные!). Вот сидим мы в ресторане, он встаёт, просит минуту внимания, все остальные замолкают и смотрят на него. Он показывает в окно: "Смотрите, как забит двор. Это неприемлемо, так не может продолжаться, с этим надо что-то делать!". Причём, не в рамках какой-то шутки или сложной подводки к тосту, а на полном серьёзе. Как сейчас модно говорить: "кринж". Нелепо, глупо, до стыда неуместно. Я даже как сторонник той же идеологии и, будучи по сути с ним согласен, испытаю много негатива. Точно так же для меня выглядит отработка повестки во многих современных фильмах и сериалах. Любой повестки: расовой, сексуальной, феминистической. Посреди сюжета совершенно не связанным с событиями образом вставляют, например, нетрадиционные отношения. Или какого-то из персонажей делают вычурным представителем нужного меньшинства, а нередко даже двух или трёх меньшинств. Можно делать это аккуратно, а можно тупо и топорно. В Sex Education друг главного героя темнокожий гей, и это не только сам по себе очень уместный и органичный персонаж, но с ним прописана ещё и одна из самых сложных и глубоких сюжетных линий. А в Foundation двух белых (по книге) мужчин сделали темнокожими девушками просто потому что дайвёрсити. Никакие сценарные особенности не требовали этого, а харизма обеих актрис абсолютно не подходила к тем ролям, которые они исполняли. Попробовали бы книжного темнокожего персонажа сделать белым в кино, такой скандал бы поднялся. Весь фильм Терминатор Тёмные Судьбы один сплошной, простите, кринж, очень навязчиво и неаккуратно транслирующий феминистическую повестку. А вот, например, трансформация Доктора Кто в женщину — интересный и сюжетно обоснованный ход. Другое дело, что сценаристы новых серий со своей работой справились плохо, и смотреть шоу стало скучно, но это, я уверен, не из-за смены пола. Таких примеров много. Откровенно глупых и слишком прямолинейных случаев трансляции повестки, к сожалению заметная доля. Почему же либеральное сообщество ничего с этим не делает? Где канселинг, где разгромные статьи? Ведь подобные ситуации вредят идеологии сильнее, чем помогают. Почему авторы продолжают выпускать произведения с такими ошибками, и как их пропускает цензура (которая даже в современном мире фактически существует, просто под иной личиной)? Я в замешательстве. #fiction

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #lmcache

当前筛选 #lmcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github