TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #55 · 26.06

Посмотрел несколько видео с канала "Все работы хороши" — там либо сам автор либо его агент устраивается на работу во всякие Пятёрочки, Макдаки, Фикспрайсы, а затем в подробностях рассказывает изнутри, что на самом деле происходит. Меня не пугает какая-то тяжёлая черновая работа. "Дуй на завод" для меня не шутка — мы с другом месяц проработали на заводе прямо в цеху в качестве практики. Но меня очень удивляет, что люди добровольно соглашаются на работу, где их за людей не считают: общаются грубо и неуважительно, систематически дают не связанные с рабочими обязанностями поручения, унижают, ни во что не ставят их права и личные потребности. Да, зарплаты одинаково высокими везде не могут быть, но человеческое отношение то хотя бы на элементарном уровне должно присутствовать? Окей, понятно, что число соискателей на эти работы, вероятно, много выше, чем количество предложений на рынка труда. Поэтому компании могут не запариваться с такой ерундой, как уважение к сотруднику. Интересно, что это только до тех пор, пока оно не становится выгодным. В айти, если начальник будет посылать программиста за сигами, тот просто уйдёт в другое место, бизнес потеряет работника и, как следствие, деньги. Но как только нормальное общение становится добровольным выбором, все эти системы идут по пути наименьшего сопротивления. Ещё показательно, что на канале только неквалифицированный труд. Представьте себе, если бы какой-то программист, знающий несколько языков (как я, хе-хе), устраивался бы на работы во всякие Яндексы и ВКонтакты, а потом рассказывал бы, как оно изнутри. Не о закрытых NDA вещах, конечно, а в целом о структуре: о бестолковых менеджерах, заставляющих делать хрень, об элементарных фичах, проходящих энтерпрайз-дебри по полгода, о добровольно-принудительных переработках и так далее. Была бы бомба — миллионы просмотров, геометрический рост популярности, Дудь курит в сторонке. Но это всё не реалистично. Во-первых, даже очень крутой спец не всегда пройдёт собеседование: где-то по стеку не подойдёт, где-то по софтскиллам не понравится, где-то ещё что-то. Во-вторых, для самого программиста это карьерное самоубийство, поэтому нужно уже быть богатым человеком с пассивным источником дохода. В-третьих, корпорации более внимательны к сохранению своей тайны и могут найти способ засудить даже без прямого нарушения NDA. И почти в любой квалифицированной сфере будет так: сложно, репутационно-дорого, много издержек. Наверное, в этом и отличие. Когда-то давно я высказывал такое видение — лично у меня чья-то работа вызывает тем больше уважения, чем дольше лично мне с нуля прокачаться до уровня хотя бы прохождения собеседования или другой начальной стадии (получения первого клиента, если речь про бизнес или самозанятость). Так что, можете прикинуть про свою работу тоже — как много обучения требуется для её выполнения. Если мало или совсем не требуется — может, это повод подумать. #life

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #lmcache

当前筛选 #lmcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github