TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #1115 · 30.06

Uzum #interview#dev Вышли на меня сами через бывших коллег, которые теперь там работают. Вакансия тимлида на Java (ага). Uzum — это такой Яндекс/Ozon в Узбекистане. Бывшие выходцы из Сбера и Яндекса в 2022 году пришли в Узбекистан и обнаружили, что там огромный, но совершенно пустой рынок с точки зрения крутых удобных цифровых сервисов, к каким мы привыкли в России. Голубой океан, как говорят. Естественно, получили лавинообразный рост, который, как я понял, идёт до сих пор. Активно хантят новых людей, в том числе из России. В основном устроиться туда можно через регистрацию налогового резидентства в Узбекистане. Зарплату получать в долларах (в настоящее время не ясно, плюс это или минус). А дальше уже сам решаешь, как передавать себе деньги в Россию: есть легальные, но запарные способы. Секции на лида такие: 1. Общение с техлидом / скрининг 2. Языковая секция 3. System Design 4. Менеджмент 5. Финалка и фит с руководством, на который заглядывает CTO На скрининге техлид сказал, что помнит меня по Цифровому Прорыву 2019 (приятно). Обсудили проекты, компанию. Я сказал, что я шарпист, а не джавист. Поскольку провести языковую секцию по шарпу у них некому, решили вообще её пропустить. Как я понял, тимлид здесь выполняет технические функции опосредованно, поэтому опыт в языке нужен, но не обязательно ровно в том, на котором пишет команда. Тем более, на джаве я всё-таки чуть-чуть кодил, просто после шарпа возвращаться на неё это как пересесть на старую Ладу с новенькой иномарки: вроде ездит, но уже давно привык к другому уровню комфорта. System Design Нужно было встроить функцию в существующую систему. Два сервиса отвечают медленно, а поверх них требовалось спроектировать ещё один сервис, который отвечает теми же данными быстро. Вообще, в таких условиях способа всего два: подделывать данные или накапливать. Кажется, интервьюеру не сильно было важно, как именно я думаю, и какими элементами из собственного опыта пользуюсь. Когда я размышлял вслух над вариантами решения той или иной проблемы, у меня было впечатление, что интервьюер оценивает факт такого размышления отрицательно, ожидая более быстрый шаблонный ответ. Ещё проблем добавило то, что существующую систему никак нельзя было менять. Нельзя было добавлять нужные события к существующим сервисам, нельзя было обогащать атрибутивный состав и обновлять контракты. Но с горем пополам сошлись на чём-то, хотя послевкусие от секции осталось так себе. Менеджмент Вообще, я очень сильно не люблю менеджерские секции, потому что эта область не детерминирована. Окей, существуют какие-то конкретные методологии и некое подобие теории поверх деятельности по управлению процессами, но незнание этих методологий абсолютно ничего не говорит о способности человека вести команду. Как и знание. В целом, когда интервьюер третий раз задал один и тот же вопрос, я понял, что секцию мне не зачтут, потому что я не понимаю, что именно хотят от меня услышать. Было примерно так: Интервьюер: — Как ты понимаешь, работает ли команда хорошо или нет? Я: — Во-первых, я смотрю на скорость и качество результата их работы. Эти показатели противоречат друг другу, поэтому нужно обращать внимание на баланс. Во-вторых, смотрю, как много дополнительного ручного управления требует команда, как часто нужно подключаться, чтобы решить какую-то проблему внутри. Интервьюер: — Окей. И всё-таки, как ты понимаешь, что команда перформит? Я: — Эээ, ну я уже сказал. Скорость, качество, самостоятельность. Интервьюер: — Да, я понял, но как всё-таки понять, нормально команда работает или нет? Ещё я закладывал на секцию час, а потом увидел в приглашении, что планировалось полтора. У меня был следом другой собес, поэтому я честно сказал, что есть всего час (это было где-то через 40 минут после начала интервью, я заметил накладку не сразу). Поскольку интервьюер к этому моменту уже повторял одни и те же вопросы по кругу, я был уверен, что ещё полчаса нам в любом случае не нужны.

Резултати

Намерени 2 подобни публикации

Търсене: #kvcache

当前筛选 #kvcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github

Machinelearning

@ai_machinelearning_big_data · Post #8010 · 10.07.2025 г., 11:37

⚡️ Китайские исследователи из Shanghai Jiao Tong и Zhejiang University представили MemOS — первую в мире "операционную систему памяти" для ИИ. Обычные LLM быстро забывают информацию, а дообучать их — долго и дорого. В новой работе предлагают радикально другой подход: MemOS превращает память в часть операционной системы. 🟢Память как файлы: Модель может *записывать, перемещать и удалять* знания, как будто работает с файлами, и делать это прямо во время работы, а не только на этапе обучения. 🟢MemCube — контейнер знаний: Каждое знание упаковывается в кубик с метками времени и авторства. Планировщик сам решает, где хранить этот "куб" — в тексте, GPU‑кэше или в виде маленького патча весов. 🟢Умная экономия: MemOS работает с 1500 токенами памяти, но достигает такой же точности, как если бы модель загружала весь контекст. При этом скорость — как у облегчённых моделей. 🟢Мгновенная подгрузка: На тестах с Qwen2.5‑72B переключение нужных "кубов" в кэш снижает задержку первого токена на 91.4%, *без изменения ответа*. 🟢Результаты: MemOS набрал 73.31 балла по LLM‑Judge на LOCOMO-бенчмарке — почти на 9 баллов больше ближайшего конкурента. Особенно хорошо работает на сложных задачах с несколькими шагами и временными зависимостями. 💡 Итог: память как ОС — это не просто удобно, это ускоряет модель, повышает точность и даёт контроль над знаниями. Установка: pip install MemoryOS 🟠GitHub 🟠Проект @ai_machinelearning_big_data #MemoryOS#agentmemory#rag#kvcache