TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #1122 · 4.07

2ГИС #interview#dev (UPD: чуть обновил текст, вспомнил еще часть) Отвлечёмся на секунду от Т-Банка, там в реальности была затяжная пауза, я находился в подвешенном состоянии и не понимал, считать ли попытку устроиться туда проваленной или нет. Но параллельно никто не мешал ходить на другие собесы. Увидел вакансию C#-разработчика в 2ГИС. О 2ГИС у меня много приятных воспоминаний. Помню, что был классный продукт, самобытный, и в него я заходил, когда информации в Яндексе не хватало. Со временем Яндекс сократил этот отрыв, задавил брендом и экосистемой. Как оказалось, 2ГИС никуда не делся, и даже растёт: 80 млн пользователей на текущий момент. А ещё карты, как я рассказывал, очень близкий мне домен по пет-проектам и конкурсам. Этап первичной коммуникации с эйчаром пришёлся как раз на время, когда я считал, что завтра у меня будет оффер от Т-Банка. К тому же, эйчар отвечала с очень большими паузами: по несколько дней. Поэтому я, честно говоря, особо ни на что здесь не рассчитывал. Вообще думал, что она в какой-то момент забила на меня. А при первом созвоне честно предупредил, что я нахожусь в состоянии почти получения оффера от другой компании. Ха-ха. Скрининг, к слову, был достаточно подробный, не просто по ключевым словам, а эйчар нормально расспросила об опыте, пожеланиях и так далее. Дальше планировался короткий технический скрининг, большая универсальная техническая секция и итоговый фит с руководителем. Технический скрининг Интервьюер сказал, что был на моем докладе на DotNext, и помнит меня. Круто, уже второй, кто узнал меня, в процессе этих собеседований. В целом он понимал, что я вроде не самозванец, поэтому пробежались с ним довольно быстро, и часть времени я позадавал вопросы о работе в компании. Техническая секция С моей точки зрения это был почти образцовый собес. В одной секции, не продлившейся дольше двух часов, задавали вопросы сразу и по языку, и по БД, и по архитектуре, и даже задачку на алгоритмы. Пожалуй, единственный минус — секция полностью разговорная. Код не писали, схемы не рисовали. Этого очень не хватило, и рассказывать устно алгоритмическое решение было не слишком прикольно. Собственно, думаю, что такой разговорный стиль интервью ухудшил точность оценки хард-скиллов, поэтому я получил senior-. Фит Эйчар, технический руководитель, общая руководительница. Задавали вопросы по опыту, рассказывали про проект и команду. В принципе, ничего необычного. Спросили, чем хочу заниматься, а чем не хочу. Подумал, что самое неприятное в моей работе — дополнять чужой плохо спроектированный (!) код. Дополнять хорошо спроектированный это ок. Рефакторить говно в конфетку тоже ок. А вот если нужно дописать функцию, но рефакторить нельзя — это, конечно, боль. Что понравилось 1. Роль эйчара не номинальная, задавались довольно подробные вопросы по опыту и пожеланиям 2. Собес почти в один ход, при этом спросили всё нужное 3. Интересный самобытный продукт, а сама компания при этом бигтех (2ГИС это контур Сбера) Что не понравилось 1. Коммуникация со стороны эйчара поначалу была с огромными паузами 2. Вся основная секция сугубо разговорная, ей не хватило практических частей 3. В компании нет премий и индексации Результат Эйчар написала, что готовы сделать оффер, отправила анкету службы безопасности. К этому моменту Т-Банк пропал, Mindbox и Uzum отвалились. На фите спрашивали, какая сумма мне интересна, и я сказал, что меньше X вообще не буду рассматривать. Раз после этого пришли с инфой об оффере, то я логично подумал, что предложат как минимум X (так и оказалось). Поэтому ещё до конкретных цифр я уже понимал, что оффер, вероятнее всего, хороший, и был готов сразу его принять. Мне и компания нравится, и собес понравился, и вариантов других не было. Но тут вернулся Т-Банк...

Резултати

Намерени 2 подобни публикации

Търсене: #kvcache

当前筛选 #kvcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github

Machinelearning

@ai_machinelearning_big_data · Post #8010 · 10.07.2025 г., 11:37

⚡️ Китайские исследователи из Shanghai Jiao Tong и Zhejiang University представили MemOS — первую в мире "операционную систему памяти" для ИИ. Обычные LLM быстро забывают информацию, а дообучать их — долго и дорого. В новой работе предлагают радикально другой подход: MemOS превращает память в часть операционной системы. 🟢Память как файлы: Модель может *записывать, перемещать и удалять* знания, как будто работает с файлами, и делать это прямо во время работы, а не только на этапе обучения. 🟢MemCube — контейнер знаний: Каждое знание упаковывается в кубик с метками времени и авторства. Планировщик сам решает, где хранить этот "куб" — в тексте, GPU‑кэше или в виде маленького патча весов. 🟢Умная экономия: MemOS работает с 1500 токенами памяти, но достигает такой же точности, как если бы модель загружала весь контекст. При этом скорость — как у облегчённых моделей. 🟢Мгновенная подгрузка: На тестах с Qwen2.5‑72B переключение нужных "кубов" в кэш снижает задержку первого токена на 91.4%, *без изменения ответа*. 🟢Результаты: MemOS набрал 73.31 балла по LLM‑Judge на LOCOMO-бенчмарке — почти на 9 баллов больше ближайшего конкурента. Особенно хорошо работает на сложных задачах с несколькими шагами и временными зависимостями. 💡 Итог: память как ОС — это не просто удобно, это ускоряет модель, повышает точность и даёт контроль над знаниями. Установка: pip install MemoryOS 🟠GitHub 🟠Проект @ai_machinelearning_big_data #MemoryOS#agentmemory#rag#kvcache