TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #1113 · 28.06

Mindbox #interview#dev Вакансия тимлида .NET, откликнулся через hh, единственная вакансия, где был указан доход: до 500 на руки. Mindbox — это крупнейший в России софт для автоматизации маркетинга. Среди клиентов известные торговые сети и бренды (Комус, Петрович, Делимобиль, Афиша, даже бигтех, например Сбер Еаптека и Мегафон). Когда я готовился к другим собеседованиям, в моём пуле был очень хороший доклад по микросервисной среде от сотрудника Mindbox с конференции DotNext. В общем, не стартап-однодневка, а вполне серьёзная организация, просто известная больше в бизнесовых, а не потребительских кругах. А ещё Mindbox — это «бирюзовая» компания. С этим термином я столкнулся впервые. Таким способом называют компании, у которых внутренняя организационная структура отвергает классические подходы с жёсткой иерархией и согласованиями. Теоретически любой человек может принять любое решение, если готов за это решение отвечать. Прозрачность зарплат внутри — все знают, кто сколько зарабатывает. Многие вопросы решаются голосованием, системой вето, дебатами с аргументацией. Принято давать не анонимную обратную связь коллегам, и в компании специально обучают, как это делать так, чтобы тебе в челюсть не прилетело человека такая обратная связь развивала, а не обижала. Короче, мечта зумера. Как в современных смешных роликах, где вчерашние школьники на звонке говорят что-то типа «Сегодня я не в ресурсе работать, пойду выпью лавандовый раф и помедитирую». Давайте честно скажу: я сам не верю, что такая структура работает. Но, во-первых, как-то всё-таки она работает. Организация успешно функционирует, ребята делятся интересными технологиями, доходы есть. И Mindbox не единственная «бирюзовая» компания в России, на самом деле их довольно много: ВкусВилл, Буше, Qiwi, Точка итд. Во-вторых, я уверен, что есть подводные камни, но выявить их с помощью вопросов на собеседованиях у меня не получилось. Например, с моей точки зрения при открытости зарплат всегда будут люди, которые считают, что кто-то с более высоким доходом на самом деле менее компетентен и получает такой доход незаслуженно. И даже в ряде случаев эти люди будут правы. Это создаёт негативное эмоциональное напряжение. Хуже открытой неприязни только скрытая: когда человек в лицо мило с тобой общается, а потом в кулуарах будет тебя поливать грязью. Но, когда я спросил на собеседовании, как они справляются с такого рода конфликтами, мне ответили, что у них так не бывает. Система повышения зарплаты тоже голосованием: на некотором внутреннем портале ты публикуешь свои достижения и желаемую новую цифру, а люди апрувят или нет. Вот тут уже, как я понял, не все подряд апрувят, а, условно, руководители. То есть, иерархия всё-таки есть в разрезе количества власти и влияния на компанию и людей в ней. Да и в других голосованиях у разных сотрудников разные веса. Должно было быть три секции: 1. Скрининг с эйчаром и обсуждение моих пожеланий 2. Встреча с техлидом, решение технической задачи, вопросы от меня по команде и продукту 3. Финальная встреча, фит, софтскиллы На скрининге действительно больше, чем в других местах, интересовались моими пожеланиями. Не только по зарплате, но и, например, с задачами какого типа я люблю работать. Основная секция Начинается с моих вопросов команде. Тут как раз я больше спрашивал про оргструктуру, чем про проект. Затем дали задачу: элементарный обход дерева. Я спросил, нужен ли им обход в ширину или в глубину, ответили, что не важно. И ещё момент — разрешили пользоваться гуглом, нейросетями (!), и даже не шарить экран на время решения (я всё-таки пошарил). Ну, то есть, идея была такая: в настоящей работе мы всё-таки сидим с гуглом, нейронками и без надзора, поэтому вот решай в условиях, приближенных к естественным. Не понимаю, что именно оценивалось, и кто мог с такими вводными не решить. Хотя потом эйчар сказала, что некоторые кандидаты решают по 50 минут (я написал за 10 на yield'ах). Когда смотрели решение, поспрашивали совсем чуть-чуть по простым вещам. И погоняли по кейсам из моего тимлидского опыта по системе STAR (situation, task, action, result).

Резултати

Намерени 2 подобни публикации

Търсене: #kvcache

当前筛选 #kvcache清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8027 · 11.07.2025 г., 12:05

🌟LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥Github @ai_machinelearning_big_data #AI#ML#LLM#LMCache#KVCache#Github

Machinelearning

@ai_machinelearning_big_data · Post #8010 · 10.07.2025 г., 11:37

⚡️ Китайские исследователи из Shanghai Jiao Tong и Zhejiang University представили MemOS — первую в мире "операционную систему памяти" для ИИ. Обычные LLM быстро забывают информацию, а дообучать их — долго и дорого. В новой работе предлагают радикально другой подход: MemOS превращает память в часть операционной системы. 🟢Память как файлы: Модель может *записывать, перемещать и удалять* знания, как будто работает с файлами, и делать это прямо во время работы, а не только на этапе обучения. 🟢MemCube — контейнер знаний: Каждое знание упаковывается в кубик с метками времени и авторства. Планировщик сам решает, где хранить этот "куб" — в тексте, GPU‑кэше или в виде маленького патча весов. 🟢Умная экономия: MemOS работает с 1500 токенами памяти, но достигает такой же точности, как если бы модель загружала весь контекст. При этом скорость — как у облегчённых моделей. 🟢Мгновенная подгрузка: На тестах с Qwen2.5‑72B переключение нужных "кубов" в кэш снижает задержку первого токена на 91.4%, *без изменения ответа*. 🟢Результаты: MemOS набрал 73.31 балла по LLM‑Judge на LOCOMO-бенчмарке — почти на 9 баллов больше ближайшего конкурента. Особенно хорошо работает на сложных задачах с несколькими шагами и временными зависимостями. 💡 Итог: память как ОС — это не просто удобно, это ускоряет модель, повышает точность и даёт контроль над знаниями. Установка: pip install MemoryOS 🟠GitHub 🟠Проект @ai_machinelearning_big_data #MemoryOS#agentmemory#rag#kvcache