ML Baldini • Nikita Boyandin

Какое самое вкусное место в Москве-Питер💗

Чем для меня отличается джун от тимлида и почему сеньоров будет сложно заменить ИИ👻 Раньше когда я себя спрашивал, как мне расти дальше, ответ был неизменным - тебе нужно улучшить или добавить какой-нибудь хард скилл. Но кажется с появлением сильных LLM, различных copilot и cursor все это изменилось в сторону абстракции над проектами. Сейчас постараюсь обьяснить: 1 ступень - джун: пилит отдельные функции. Контекст узкий: вот тикет, вот acceptance criteria, вот ревью. 2 ступень - мидл: берет на себя часть функционала. Есть декомпозиция задачи, но всякие агенты уже умеют это 3 ступень - сеньор: держит в голове весь проект. Он видит, как части связаны между собой, где технический долг превратится в проблему, и куда система движется через полгода. 4 ступень - тимлид: уже с абстракцией на команду. Люди, процессы, мотивация, связь с бизнесом, приоритеты, которые не записаны ни в одном Jira-тикете. Чем выше абстракция - тем больше решений завязано на контекст, который не влезает ни в один промпт. Стратегия, политика, доверие, интуиция о людях. И вот, что получается. Начиная с позиции senior, LLM тебя не может заменить, так как ей не хватает общего контекста(по крайней мере пока), а с позиции тимлида кажется ИИ не сможет выполнять обязанности, так как на первый план выходят человеские отношения, которые часто не обьяснимы логикой ИИ.

Как DS/ML за 9 месяцев вырасти на 30% в зарплате и выйти на еще более интересные проекты? Освойте Deep Learning. Голосовые помощники, распознавание лиц, рекомендации в приложениях, медицинская диагностика — нейросети используются уже во всех сферах бизнеса. Компании ищут DL-специалистов, чтобы точнее обучать и настраивать нейросети под свои запросы. За 9 месяцев вы изучите все актуальные модели последних лет и получите крепкую базу в DL, углубившись в каждое направление. Что вы освоите: 🟠Создание и обучение нейросетей с нуля 🟠Компьютерное зрение (Computer Vision) 🟠NLP (обработка текста) 🟠Генеративные модели 🟠MLOps и продакшн-подход 🕖 Залетайте скорее, количество мест на поток ограничено! Бронируйте место на курсе прямо сейчас и получите скидку 30% 😶ПОЛУЧИТЬ СКИДКУ НА КУРС

Обзор на "Найти ментора" В декабре я прочитал книгу "Найти ментора". Почему меня она так сильно заинтересовала эта книга 💃 1. Я не совсем согласен, как позиционируют менторство сейчас 2. Многие люди, которые называют себя менторами также вызывают вопросы 3. Сама идея именно найти ментора, для меня является примерно тем же, как парни ищут отношения, а не пытаются развиваться Плюсы этой книги 😎 1️⃣ Легко читается, хороший язык повествования 2️⃣ Много правильной мотивации, которая показывает реальные истории взаимодействия людей и их мотивы для помощи 3️⃣ В пух и прах разбивает 90 процентов людей, которые сейчас называют себя менторами, приводится четкое определение, которое разделяет менторство, наставничество и так далее Минусы этой книги 😐 1️⃣ Все истории успеха взяты не из нашей страны и автор правильно подчеркивает, что менторство у нас не развито, так как капитал в России живет последние 35 лет и только сейчас вырастает первое поколение, которое реально может менторить. Также сами эти истории рассказаны как показатель взаимного успеха, но почему то никто не говорит, как они получили эти связи или что за ними стояло(например, история Дональда Трампа и Рой Кона) 2️⃣ Автор слишком идеализирует менторство, как будто только ментор способен вывести человека на новый уровень 3️⃣ Книга повторяет многие идеи из "Следующий уровень. Книга для тех, кто достиг своего потолка", поэтому нацелена на людей, которые уже достигли определённых успехов и находятся в состоянии стагнации и будет бесполезна для совсем начинающих 4️⃣ Несмотря на вроде бы четкий путь, для меня эта книга слишком общая, чтобы помочь большенству людей Мой итог 😠 Я считаю, что мне со многими людьми повезло по жизни и сразу нескольких могу назвать менторами. Важно понимать, что менторство - это не панацея. Оно может быть мощным инструментом, но только в сочетании с личной инициативой и усилиями. Без собственной работы, осознания своих целей и регулярных шагов к их реализации даже лучший ментор не сможет вытащить человека из стагнации. Ментор - это скорее проводник, но не маг, который решит все проблемы за вас.(и тут оказывается, что в выводах я пересказал книгу на 300 страниц) Если вам нравится такие обзоры литературы, то обязательно ставьте лайки и подписываетесь на канал💗

Подготовка к секции MLSD 💃 Для многих, кто в первых раз идет на интервью middle/senior ml, секция ml system design может показаться чем-то сложным и не понятным. Не переживайте, при качественной подготовке, вы получить не интервью в привычном понимании, а прикольный кейс, который проверит ваш опыт, знание инфраструктуры, подходы к решению мл задачи, но все-таки для этого у вас должен быть фундамент. 1️⃣Разбейте весь системный дизайн по этапам Тут для меня 9 шагов: постановка бизнес проблемы(тут вы должны получить как можно больше информации от интервьера), метрики, компоненты архитектуры(MVP логика), хранение данные и ее подготовка, Feature Engineering, разработка модели и оффлайн тестирование, Prediction Service, онлайн тестирование и деплой, мониторинг и улучшения. Подбирайте для себя структуру до собеседования, чтобы не отвечать на лету. 2️⃣Проработаете каждую задачу мл отдельно Кажется, что проектов и доменов достаточно много, но большенство из них можно описать внутри этих задач: рекомендательная система, поиск, ранговая система, NLP(чат-боты) и CV(OCR). Редко ваша задача будет другой и я советую подготовить каждую из них. 3️⃣Поучите метрики, аб тесты В mlsd есть несколько тем, которые нужно доучить специально в mlsd: онлайн-метрики, аб тесты и неплохо еще знать uplift-моделирование. Это поможет вас выделить из толпы. 4️⃣Подготовке пару кейсов по инфраструктуре Вам нужно понимать не только мл модель, но и как она будет функционировать на проде, а значит вы должны знать, что такое kuber, docker, s3, kafka и так далее. 5️⃣Всегда думайте, как вы сможете улучшить ваше решение В конце интервью вас спросят, а как же вы улучшите вашу систему. Варианта два: либо вы говорите о системе заведомо чуть меньше, а потом упоминаете об этом, либо говорите о данных или инференсе, которые всегда можно улучшить 6️⃣Проводите перекрестное мок-интервью Попросите кого то из друзей придумать кейс и с вами его решить и отвалидировать, так вам сразу будут видны ваши пробелы и вы сможете их закрыть перед собесом 7️⃣Чем больше правильных вопросов вы сможете задать, чем проще вам будет проходить интервью Важно на первом этапе задать как можно больше вопросов про бизнес задачу и саму систему, потому что дальше хорошим тоном для команды будет то, что вы будете сами рассказывать все решение без их помощи. Обзательно перед собесом обязательно посмотрите кейсы, которыми занимается команда, часто именно их будут задавать и вы будете уже готовы 💃 💗 - если хоть раз проходил секцию mlsd

Квантизация LLM(Часть 2) 3️⃣ GPTQ (обобщенное постобучающее квантование) GPTQ - это усовершенствованная техника постобработки данных, разработанная для достижения точности, близкой к точности QAT, с использованием только калибровочных данных. Она работает послойно, итеративно квантуя веса одного слоя и корректируя оставшиеся веса для компенсации ошибки квантования. Основная идея основана на решении задачи послойной реконструкции. Она направлена ​​на поиск квантованных весов которые минимизируют разницу между выходными данными квантованного слоя и исходного слоя FP32, используя входные активации из калибровочного набора: GPTQ использует информацию второго порядка (приблизительную матрицу Гессе) для более эффективного решения этой задачи оптимизации, чем более простые методы, что позволяет добиться точного квантования до 3 или 4 бит. 4️⃣ AWQ (квантование весов с учетом активации) AWQ - это ещё один сложный метод постобработки с квантизацией, который учитывает, что не все веса одинаково чувствительны к квантизации. Он показывает, что веса, связанные с большими значениями активации, оказывают непропорционально большое влияние на выходные данные модели. Квантизация этих «значимых» весов может привести к значительному снижению точности. Подход AWQ заключается в выявлении этих важных весовых коэффициентов путем анализа масштабов активации в калибровочном наборе данных. Затем он избирательно сохраняет точность этих важных весовых коэффициентов, применяя масштабирующий коэффициент для каждого канала. Это масштабирование эффективно уменьшает диапазон квантования для несущественных весовых коэффициентов, позволяя более точно представить существенные весовые коэффициенты в рамках ограниченного битового бюджета. 5️⃣ SpQR SpQR выводит сжатие на новый уровень, сочетая квантование с разреженностью. Он учитывает, что LLM-модели часто содержат сильно влияющие «выбросы» в своих весах или активациях, которые трудно точно квантовать с помощью стандартных методов. Агрессивное квантование этих выбросов может серьезно ухудшить производительность модели. SpQR решает эту проблему, выявляя выбросы (значения с большими значениями) и сохраняя их в формате с более высокой точностью (например, FP16), но используя разреженное представление. Оставшиеся, более многочисленные значения, не являющиеся выбросами, затем могут быть квантованы гораздо более агрессивно (например, до 3 или 4 бит) с минимальным влиянием. Этот гибридный подход направлен на достижение высоких коэффициентов сжатия за счет использования как разреженности (хранение только важных выбросов), так и низкобитного квантования (для основной части весов). Он требует тщательного управления разреженным форматом во время вывода, но может обеспечить значительное уменьшение размера модели при сохранении точности. Полезные ссылки 1️⃣ Базовое понимание от HugginFace про квантизацию и квантизацию LLM 2️⃣Крутая статья на Хабре 3️⃣Ну и статья на английском про все виды квантизации

Квантизация LLM(Часть 1) Две самых больных тем для меня в тех собесах по LLM - дообучение и квантизация LLM. Думаю с первой я еще разберусь, а вот со второй мы сегодня повозимся. Как мы храним числа в памяти компьютера ⚫️Целочисленные числа Целые числа представляются в памяти с помощью фиксированного количества битов. Количество битов, выделяемое для хранения числа, определяет диапазон значений, которые могут быть представлены этим числом. Пример: INT8 (8 бит) может хранить значения от -128 до 127 (с учетом знака). INT16 (16 бит) может хранить значения от -32,768 до 32,767. INT32 (32 бита) может хранить значения от -2,147,483,648 до 2,147,483,647. ⚫️Вещественные числа Вещественные числа хранятся в памяти в формате с плавающей точкой. Это позволяет представлять числа с большой точностью и использовать их в вычислениях, где важно учитывать дробные части. Формат с плавающей точкой разделяет число на два компонента: Мантиссу (основная значащая часть числа) Экспоненту (показатель степени, который указывает на положение десятичной точки) Наиболее распространенные форматы с плавающей точкой: FP32 (32 бита): используется 1 бит для знака, 8 бит для экспоненты и 23 бита для мантиссы. Это стандартный формат для хранения вещественных чисел в большинстве вычислительных операций. FP64 (64 бита): аналогичный, но с удлиненной мантиссой и экспонентой, что позволяет представлять числа с еще большей точностью. Что такое квантизация и зачем она нужна Квантование - это процесс преобразования непрерывных значений или значений с высокой точностью в меньший набор дискретных значений с более низкой точностью. В контексте моделей глубокого обучения, особенно моделей с низкой точностью, это в первую очередь включает в себя уменьшение количества битов, используемых для представления весов и, часто, активаций. Типы квантизации 1️⃣ Посттренировочное квантование (PTQ) Постобучающее квантование применяется после полного обучения модели. Как правило, его реализация быстрее, поскольку не требует переобучения. Методы постобучения обычно требуют небольшого репрезентативного калибровочного набора данных. ⚫️Статический PTQ Статический PTQ квантует как веса, так и активации в автономном режиме. Он использует набор калибровочных данных для определения диапазона активаций, проходящих через различные слои модели. Эта информация используется для расчета соответствующих коэффициентов масштабирования и нулевых точек для активации, наряду с активациями для весов. ⚫️Динамический PTQ Динамический PTQ упрощает процесс, квантуя веса в автономном режиме, но определяя масштабирующие коэффициенты для активаций динамически во время вывода. Каждый тензор активации квантуется на лету на основе его наблюдаемого диапазона во время выполнения. Это позволяет избежать необходимости в калибровочном наборе данных, но вносит дополнительные затраты времени на вычисление коэффициентов масштабирования и квантование активаций во время каждого прямого прохода. 2️⃣ Обучение с учетом квантования (QAT) Обучение с учетом квантования имитирует эффекты квантования в процессе обучения или тонкой настройки модели. Оно вставляет в граф модели операции «фиктивного квантования». Эти операции имитируют эффекты округления и ограничения квантования во время прямого прохода, но позволяют градиентам проходить относительно беспрепятственно во время обратного прохода, часто с использованием сквозного оценщика (STE). Благодаря возможности адаптации модели к снижению точности в процессе обучения, QAT часто обеспечивает более высокую точность по сравнению с методами PTQ, особенно при квантовании до очень малых битовых ширин (например, INT4 или ниже). Основной недостаток заключается в увеличении сложности и вычислительных затрат, связанных с переобучением или тонкой настройкой модели.

#МЛ_мюсли собесы Пока я пытаюсь разобраться со всем смрадом, которое навалилось на меня в январе, нет много времени, чтобы писать технические посты, поэтому буду собирать небольшие сводки и мысли. 1. Насколько же к собесам стало готовиться проще 💳 Вспоминая свою подготовку пару лет назад, самой большой проблемой был поиск информации. Сейчас пайплайн из хендбука Яндекса(огромный им поклон, реализовать все мл подходы с мат базой - это очень сильно), плейслист ШАДА по LLM, плюс видео Карпатого и вы уже отвечать на вопросы и рассуждать. Вам останется добрать кейсы на хакатонах и, если повезет, на коммерческих проектах и дальше вы сможете получить хоть что-то внутри бигтеха. Кажется, собесы будут все больше отходить от вопросов по метрикам и архитектурам к MLSD. 2. Удивило, что нет большого количества вопросов к собеседованиям 😠 Но из хорошего нашел методичку из общих вопросов, про NLP, а также нашел сборник кейсов про MLSD. Этих материалов вам точно хватит, чтобы узнать ваши пробелы примерно до уровня техлида. 3. Методички про собесы и поиск компании 😱 Около полугода назад прочитал методичку про поиск работы в ML от Бориса опять, очень понравилось, всем советую. На неделе также нашел методичку на английском, хоть она и старая, но очень понравилось строение и в целом виденье автора. PS: если у вас есть любимые материалы подготовки к собесам, обязательно кидайте в комментарии 💃 Надеюсь, из всех дел я смогу вылезти побыстрее, а пока ставьте реакции, ведь они сильно меня мотивируют не забрасывать канал💗

Станьте Deep Learning Engineer за 9 месяцев👍 Deep Learning — одна из самых востребованных и высокооплачиваемых областей в IT. И теперь войти в неё можно системно, с академической базой и реальной практикой. Simulative и МИФИ запускают программу профессиональной переподготовки «Инженер глубокого обучения нейросетей» — это редкое сочетание науки, разв и карьерного результата. По итогам обучения вы получите: 🎓 Диплом МИФИ Официальный диплом о профессиональной переподготовке с квалификацией «Специалист по большим данным» от вуза из топ-4 России. 💯 Практика Более 40 практических работ в формате симуляции реальной работы DL-инженера — всё пойдёт в портфолио. 🙌🏽 Онлайн и гибкость обучения Учитесь из любой точки мира, совмещая с работой. Доступ к материалам — навсегда. Курс подходит для специалистов любого уровня: новичок, аналитик, ML-инженер или выпускник — на программе опытные менторы помогут выстроить вашу персональную траекторию роста в Deep Learning. Что вы освоите: 🟠Создание нейросетей с нуля 🟠Computer Vision, NLP, генеративные модели 🟠MLOps и продакшн-подход 🕖 Старт обучения — 12 марта, количество мест на поток ограничено 😶Забронировать место и получить консультацию При покупке курса до конца января — 2 созвона с ментором в подарок.

Мультиязычный OCR 🍑 В моей последней курсовой меня занесло в мультиязычный OCR и я был уверен, что все сделаем vlm и все победа идем пить чай. Но реальность была другой, да и сам vlm оказался не такой уж и революцией... В целом есть три парадигмы: CRNN, Visual Transformer или TrOCR(что там, что там используем трансформер в формате кодера) и vlm. Но если копнуть глубже, то vlm будет использовать использовать тот же ViT, а TrOCR использовать BERT, поэтому фактически парадигмы все две. Логично из названия предположить, что CRNN внутри состоит из двух частей - CNN, которая распознает картинку, и RNN, которая обрабатывает последовательность символов. CNN вытаскивает фичи из изображения текста, а RNN (часто BiLSTM) декодирует это в текст, учитывая контекст. Очень важную роль играет функция потерь - CTC, которая помогает выравнивать последовательность и избежать пробелов(например, из --hh-e-l-ll-oo-- сделать hello). Кажется, что технология достаточно древняя, но лидеры продовых решений EasyOCR и PaddleOCR все еще используют части этого решения. Почитать тут 😎 Теперь про трансформеры: Visual Transformer (ViT) или TrOCR - это уже современный подход, где вместо CNN+RNN мы пихаем всё в трансформер. ViT берёт картинку, разбивает на патчи и кодер их обрабатывает, а потом декодер (как в BERT) генерит текст. TrOCR, кстати, комбинирует ViT с BERT-подобным декодером, чтобы лучше понимать язык. Плюс в том, что трансформеры круто справляются с контекстом и мультиязычностью из коробки, особенно если предобучены на огромных датасетах в несколько раз больше, чем нужны для CRNN. Почитать тут 💃 А vlm? Я думал, это прорыв, модель, которая видит картинку и понимает язык одновременно, как CLIP, но адаптированная под OCR. На деле это часто обёртка над ViT + LLM, где визуальная часть та же, а языковая добавляет понимание. Но революции нет: если данные кривые, то и vlm лажает, плюс инференс медленный, а для мультиязыка нужно достаточно много данных. Думаю, как только все наиграются с агентами, то мы наконец-то получим нормальные датасеты и маловесные модели, но пока для обычных обывателей vlm является игрушкой💗

Ну и год был... Вот и заканчивается 2025 год и хочется сказать, что он был невероятным. Как и вся моя жизнь, канал интересно развивался, помогал мне найти новые знакомтсва и разобрать множество тем. Также я достиг своей цели по подписчикам и на следующий год хочу поставить еще более амбициозную цель, хоть для этого явно придется больше вкладываться в канал и чаще писать) Всем спасибо, кто был со мной в этом году и с наступающим💗

Я чуть не уснул... По старой памяти крутых матчей хоккейного Динамо, я решил взять билеты на последнюю домашнюю игру. Как ни странно, она была с Барысом, что для меня делало это противостояние еще интереснее. Впервые купил билеты в первый сектор и вид там правда был супер И первый тайм начался круто, было много хоккея, во втором периоде Динамо забежал и в первые 10 минут был командой, которая явно хочет Кубок Гагарина🏆 в этом году. Они забили и я ждал разгром и... Барыс забивает шайбу, которая не вытекала из игры и Динамо сломался. Они перестали выигрывать единоборста, ничего не получалось в атаке. И казахи это почуяли и просто физически перекатали динамовцев ⌨️ Как итог: 🔵2:4🇰🇿 Из-за того, что я болел за Динамо, в середине второго тайма хотелось спать, а вот болелам Барыса огромный респект, 20 человек часто перекрикивали всю арену. Это явно не был лучший хоккейный матч в моей жизни, но я очень надеюсь попасть на динамо на плей-офф и по полной насладится рубкой 😠 А что вам больше всего из спорта запомнилось в этом году кроме Ферстаппена и 104 очков 😎?) Жду ваши комментарии💗