TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #347 · 17.05

У Star Trek: Strange New Worlds неплохой старт. Может даже получится что-то дельное. Энсон Маунт, который играет капитана, весьма харизматичен и отлично подходит на эту роль. Впрочем, у Star Trek: Discovery тоже был хороший старт с любопытным ответвлённым сюжетом, и интересный персонаж в исполнении Джейсона Айзекса, но потом и он ушел, и всё скатилось в какой-то трэш. Это я вам как адский фанат космофантастики говорю, смотревший все сериалы франшизы, кроме классических. Вообще, сюжет в стиле "Команда космического корабля с пафосом приключается" много где обыграли и в серьёзной и в шуточной форме. Недостатков у подобной модели полно: взрослые люди в повествовании нередко ведут себя очень нелепо и театрально, космос нереалистично перенаселён и цветаст, а "научная" составляющая — просто мешанина технических терминов в духе "Резонанс силовых катушек в варп-двигателе!". Тем не менее, две вещи мне нравятся. Во-первых, художественное отображение тех или иных качеств людей в виде инопланетных рас. А это именно оно: вот вам раса умников и ботаников (вулканцы), вот вам раса агрессивных воителей (клингоны), а вот раса хитроумных мошенников (ференги). Маловероятно, что в реальности другая разумная цивилизация сплошь состояла бы из особей с каким-то характерным выраженным свойством. Если среди людей есть и умники, и агрессоры и мошенники, то совершенно непонятно, почему любая иная жизнь складывалась бы как-то иначе. Среди инопланетян в теории тоже должны быть абсолютно разные представители: умные, глупые, любящие людей, ненавидящие людей, добрые, агрессивные итд. Так что да: пришельцы в этих сериалах это, конечно же, вычурное изображение людей. И оно позволяет хоть и гротескно, но чётко и однозначно показывать некоторые человеческие особенности. Я люблю простоту и прямолинейность, до некоторой степени люблю обобщения, и, как вы помните, считаю людей не такими разными, какими они считают себя сами — так что во мне такие образы отлично откликаются. Во-вторых, акцент на социологии и дипломатии, и фигура капитана, как универсального переговорщика и лидера. Проблемы в большинстве случаев решают не оружием и силой, а попыткой понять и договориться. По сюжету Энтерпрайз вообще научный корабль, имеющий на борту торпеды лишь номинально. Так вот, что внутренние распри команды, что сложности, приходящие извне: как правило решаются или дипломатией или высоким профессионализмом и смекалкой различных членов экипажа. Герои не обладают сверхсилами, но нередко сталкиваются со сверхсильным противником. Нечто похожее нам пытаются показать в "Докторе Кто", но там как-то всё менее строго и лично у меня чаще отключает приостановку неверия. Discovery я бросил, кажется, после второго сезона. Picard вообще не начинал: на мой взгляд это просто эксплуатация фанбазы, пожалели бы престарелых актёров! Посмотрим, как долго Strange New Worlds сможет удерживать хотя бы минимальный интерес. #fiction

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #lmcache

当前筛选 #lmcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github