ML Baldini • Nikita Boyandin

ML Baldini • Nikita Boyandin pinned «Новый #who_is🥂 Уже больше года не обновлялся who_is, нас уже больше 1300 человек, и за это время успело столько всего произойти, что даже немного страшно. Меня все также зовут Бояндин Никита, учусь на 4 капец я старый курсе бакалавриата Финансового университета…»

Новый #who_is🥂 Уже больше года не обновлялся who_is, нас уже больше 1300 человек, и за это время успело столько всего произойти, что даже немного страшно. Меня все также зовут Бояндин Никита, учусь на 4 капец я старый курсе бакалавриата Финансового университета по направлению ПМИ. Senior ML/DS developer в Сбере✅, ex-MTS🥚. Поучаствовал во множестве хакатонов, даже зацепил Kaggle Expert. Собесы😎: 1️⃣База собесов по LLM 2️⃣База собесов про prompting 3️⃣ База собесов про RAG 4️⃣Собес на 5к вечно зеленых 5️⃣Та самая part-time удаленка Много писал про то, как вкатываться с разных сторон в DS💃: 1️⃣Что такое kaggle и с чем его едят? 2️⃣Про отборы на стажку 3️⃣Как Linkedin стал для меня большим плюсом в поиске работы 4️⃣Must have курсы для стажки в МЛ Также обозревал курсы и фреймворки на многие темки темы😱: 1️⃣Курсы по docker 2️⃣Курсы по kuber 3️⃣Курсы по агентам 4️⃣Все открытые LLM 5️⃣Курсы по recsys 6️⃣Фреймворки для агентов Писал про использование МЛ в разных сферах😲: 1️⃣#Что_там в ИИ в медицине? 2️⃣#Что_там с ИИ в квантовых финансах 3️⃣#Что_там с ML в dating-приложениях 4️⃣#Что_там с мл в футболе Мои истории😃: 1️⃣Моя стажировка 2️⃣Как я проверял хакатон или несколько советов для победы 3️⃣Курсач Хочется сказать каждому подписчику огромное спасибо, ведь канал стал отличным проводником моих мыслей и я получил огромное количество нетворка. Надеюсь, наше комьюнити будет становится все больше💗 PS если вы хотите что-то обсудить или у вас есть какая-то идея, то welcome в лс @sasquato

#Что_там с мл в доставке😎 До Лавки и Озона всё было «по-простому»: звонок, «ожидайте 40–60 мин», курьер с бумажной картой, замены — «если найдём по пути», ETA — угадай. Погода, пробки и домофоны — чистая лотерея. Алгоритмов ноль — рулит случай. Возвращаю одну из давних рубрик на канале - и сразу в самое пекло, как говорится, от А до Я...ндекс Лавки))) T+0 — Клик. Заказ падает в систему, и алгоритм моментально решает три вещи: ⚫️можно ли собрать всё из ближайшей точки, ⚫️кто возьмёт заказ и когда, ⚫️какой ETA честно показать в приложении. ETA — это расчётное время у вашей двери. В нём: дистанция/маршрут, пробки/погода/транспорт, этапы до выезда (сборка/упаковка) и «последняя миля» (домофон, лифт, двор). T+1 — Резерв. МЛ проверяет сток: не подвёл ли учёт и нет ли «сюрприза» на полке. Если риск отсутствия высокий — заранее считается список замен: та же категория, ±цена, приоритет бренда и отзывы. T+2 — Пик-лист. Сборщику подается оптимальный маршрут по стеллажам (без зигзагов). Модель оценивает time-to-pick по каждому складу: где лежит, охлаждёнка или нет, нужен ли вес. Параллельно — контроль свежести и сроков. T+3 — Проверка и упаковка. Штрихкоды/вес — сверка. Холод к холоду, тёплое отдельно. Датчики и правила «холодовой цепи» подбирают термопак/пайки. ETA пересчитывается по факту реальной сборки. T+4 — Матчинг курьера. Диспетчер+МЛ выбирают исполнителя: не только «кто ближе сейчас», но и «кто окажется ближе через 6–8 минут». Учитываются: опыт с вашим домофоном, грузоподъёмность (вода/много пакетов), батарея самоката, возможность безболезненно забатчить 2 заказа. T+5 — Последняя миля. Маршрут строится с учётом микро-рельефа: дворы-колодцы, шлагбаумы, велодорожки. Модель времени подъезда знает «медленные» подъезды (домофон+лифт) и добавляет буфер. T+6 — На подъезде. Геозона даёт сигнал «почти у двери». Для курьеров есть правило: «сначала позвонить, потом поднимать», чтобы не грелось на коврике. Proof-of-delivery чаще всего фото. Где тут МЛ и зачем он вообще? ↪️ Прогноз спроса. Чтобы молоко и бананы были в этом дарксторе, а не «на соседней базе». ➡️ Доступность товара. Вероятность, что позиция реально на полке (с человеческими факторами и задержками инвентаризации). Маршрутизация сборки. Оптимальный обход по стеллажам + оценка времени на каждый склад. ➡️ Подбор замен. Ранжирование кандидатов по схожести, цене, бренду и вашей истории согласий/отказов. 🪀 Матчинг курьера. Кто довезёт быстрее и стабильнее именно в ваш подъезд, а не просто «ближайший на карте». 🏓 ETA-прогноз. Время с поправкой на погоду, пробки, лифты и текущую загрузку даркстора. 🥏 Анти-фрод и качество. Ловим странные паттерны заказов и следим, чтобы холод оставался холодом.

Курсы по Recsys😠 Пока все обычные люди идут на агентов и верят, что волна AI не закончится, настоящие gigachats идут на рекомендательные системы. Иронично, что вакансий на тимлида рекомендашек сейчас больше, чем на ИИ, поэтому составил список курсов от zero to hero, чтобы не быть, как все. 1️⃣ Для начала пытаемся в целом понять, надо ли нам такое, поэтому идем читать главу в хендбуке яндекса, где уже получаем представление о сфере 2️⃣ Если вам вдруг понравилось, то даем джаззу вместе с базовыми курсами от 🥚: Your first recsys и Your Second RecSys 3️⃣Курс от Sber AI Labs на библиотеке RePlay с нуля до выхода в продакшн 4️⃣Kaggle competition для Otus по рекомендашкам 5️⃣ Огромный болткурс от Microsoft А всем остальным желаю хорошей температуры(жду пока она будет соответствовать температуре на улице) и легкого прода💗

ML алгоритмы: градиентная боль😱 Самая большая боль всех вкатывальщиков в условные Тындекс - это алгоритмическая секция. Задачи про найти что то в массиве, сумма или наименьший путь отпугивают многих. А что если введут ML алгоритмы в собесы? 🟢MLcode easy: KNN, MSE, accuracy class KNNClassifier(): def __init__(self, n_neighbors=3, metric='euclidean', weights = 'uniform'): self.k = n_neighbors self.metric = metric self.weights = weights self.distance = { 'euclidean': lambda x, y: np.linalg.norm(x - y), 'manhattan': lambda x, y: np.sum(np.abs(x - y)), }[metric] def fit(self, X, y): self.X = X self.y = y def predict(self, X): predictions = [] for x in X: distances = np.array([self.distance(x, y) for y in self.X]) k_nearest_neighbors = self.y[distances.argsort()[:self.k]] if self.weights == 'distance': k_weights = np.array([1 / (distance + 1E-15) for distance in np.sort(distances)[:self.k]]) #distances[distances.argsort()[:self.k]] k_weights = k_weights / np.sum(k_weights) predictions.append(np.argmax(np.bincount(k_nearest_neighbors, weights = k_weights))) elif self.weights == 'uniform': predictions.append(np.argmax(np.bincount(k_nearest_neighbors))) class MSE: def __call__(self, y_pred, y_true): return np.sum((y_true - y_pred) ** 2) / y_true.size def grad(self, y_pred, y_true): return -2 * (y_true - y_pred) / y_true.size def accuracy(targets, predictions): return np.equal(targets, predictions).mean() Тут можно найти все базовые алгоритмы из классики: https://github.com/AkiRusProd/basic-ml-algorithms 🟡MLcode medium: градиентный спуск class Neuron(object): def __init__(self, weights, bias): self.weights = weights self.bias = bias def forward(self, inputs): return inputs @ self.weights + self.bias class MSELoss: def forward(self, y_pred, y_true): return 1/len(y_true)*((y_pred - y_true) ** 2).sum() def backward(self, y_pred, y_true): # dL/dy~ self.dypred = 2/len(y_true)*(y_pred - y_true) return self.dypred def gradient_descent(neuron, inputs, y_true, learning_rate=0.01, epochs=100): loss_fn = MSELoss() for _ in range(epochs): # Прямое распространение y_pred = neuron.forward(inputs) # Вычисление функции потерь loss = loss_fn.forward(y_pred, y_true) # Обратное распространение dypred = loss_fn.backward(y_pred, y_true) # Градиенты для весов и смещения dw = inputs.T @ dypred db = dypred.sum() # Обновление параметров neuron.weights -= learning_rate * dw neuron.bias -= learning_rate * db print(f"Epoch: {_}, Loss: {loss}") return neuron 🔴MLcode hard: механизм Attention import numpy as np def softmax(x): exp_x = np.exp(x - np.max(x, axis=-1, keepdims=True)) return exp_x / np.sum(exp_x, axis=-1, keepdims=True) class Attention: def __init__(self, d_model): self.d_model = d_model def forward(self, Q, K, V): # Q, K, V: матрицы запросов, ключей и значений (batch_size, seq_len, d_model) # Вычисляем скалярное произведение Q и K^T scores = np.matmul(Q, K.transpose(0, 2, 1)) / np.sqrt(self.d_model) # Применяем softmax для получения весов внимания attention_weights = softmax(scores) # Умножаем веса на V, чтобы получить итоговый выход output = np.matmul(attention_weights, V) return output, attention_weights batch_size, seq_len, d_model = 2, 3, 4 Q = np.random.randn(batch_size, seq_len, d_model) K = np.random.randn(batch_size, seq_len, d_model) V = np.random.randn(batch_size, seq_len, d_model) attention = Attention(d_model=d_model) output, weights = attention.forward(Q, K, V) print("Attention output shape:", output.shape) print("Attention weights shape:", weights.shape)

Пособесимся?)🥵 В 2020 году мне повезло, я поработал в консалтинге и мне завели Linkedin до всех проблем с номерами телефонов и почтами. Но иногда сообщения там ставят меня в ступор и заставляют в целом задуматься про смысл моей карьеры. Условия💳 В целом вы можете увидеть это на ссобщении сверху, если в крации, то: зарплата около 6к вечно зеленых, remote на выбор или в Испанию, или в Дубай(да боже мой, он меня преследует) Внутренняя дискуссия😱 Я для себя решил, что на данный момент не буду в такие компании даже собесится, так как сейчас выпускной курс вуза, дальше я точно собираюсь идти в магистратуру, но всегда есть но... То самое но самой паршивой части мозга, которая хочет очень много денег. Думаю, через 2 года я начну рассматривать такие предложения. А как бы поступили вы на моем месте?)💗

Запрос💃 Пока я пишу новый пост ищу новую рекламу)), появился запрос к вам, дорогие подписчики. Если вы неплохо знаете агентов и умеете правильно доносить мысли на бумаге, а главное, имеете свободное время, напишите мне в лс @sasquato(в лс сразу присылать ваш опыт в IT и в написании статей), будет очень благодарен, может быть вместе поработаем💗

Пособесимся?)🥵 Буквально год назад я искал ту самую part-time подработку за много денег и меня позвали в лабу одного очень известного вуза(позиция Middle). Ну что ж, погнали, подумал я. Изначальные требования к человеку: Уверенное знание Python и алгоритмов ML (классификация, кластеризация, регрессия, понижение размерности etc), опыт работы в индустрии 3+ года. Владение традиционными методами NLP (re, tf-idf, embeddings, NER, sentence classification etc). Опыт работы с LLM, большим плюсом будет опыт имплементации RAG и дообучения моделей с помощью LoRA. Владение docker, git, bash, умение самостоятельно сделать и развернуть веб-демку с простым GUI. Собес😠 На момент собеса у меня было меньше года опыта, поэтому на успех было сложно рассчитывать. По требованиям видно, что вакансия на LLM Engineer, поэтому я очень удивился, когда меня начали жестко спрашивать про уменьшение размерности ничего лучше, чем PCA я не вспомнил, и вопросов про LLM не было вообще. Также сам собес длился от силы 20 минут и дальше мы перешли к организационным вопросам. Зпшечка и условия💳 Предложили 250к -> 130к я бы получил на part-time, через полгода переход на фулл-тайм к ним + позиция тимлида, если проект взлетит, также отсрочка от армии. Почему меня не взяли или я бы все равно не пошел🥂 Ответ от hr был таким: Я получила фитбек от интервьюеров: у вас есть практические навыки работы с LLM, но для этой роли важна более сильная математическая база. По уровню вы ближе к Junior, а позиция рассчитана на Middle, что влияет и на вилку. По сути, я тогда в очередной раз убедился в странной системе найма сотрудников даже в очень топовых местах и полного отсутствия четкой методологии собеседований. 💗 - дефолт

После папки понял, что комьюнити аналитиков намного больше и приятнее и там я познакомился с Ариной. Она ведет очень приятный канал, в котором не боиться говорить о проблемах, пути и просто постит от души🧠 Как она вошла в IT😱 🔜начало Полезные штуки для аналитиков😎 1️⃣Как предсказывать рынок если вы не дата саентист 2️⃣Метрики в финтехе И просто не боиться говорить честно💃 1️⃣Ох уж эти тупые стримеры 2️⃣Что по рынку труда 3️⃣Два дела одновременно Ну и мое любимое🍑 Вечно выгоревшие Обязательно подписываетесь на этот канал, вас будет ждать много крутого и классного контента💗

Стажер - это не волк, стажер - это work🍑 Мой последний заезд про стажировки, потому что раньше именно на этом и был построен канал и я надеюсь, что за полтора года мы все немного выросли. Тут будет мое общее мнение про компании, примерные зп, мб кто-то захочет рефер 1️⃣ Yandex🦆 В условии непонятного входного рынка и условий для кандидатов, в яндексе все по-старому и слава богу. Никогда не думал, что скажу это - но система отборов на стажку тут самая адекватная. Ну и самое приятное - написать ex-Yandex после стажки, хотя сейчас есть несколько крутых новых проектов. Короче, если вы реально хотите себе плюс в карму, то вам туда. Стажка по ML: https://yandex.ru/yaintern/ml ТГ-канал: @Young_and_Yandex Учебник ШАД по МЛ: https://education.yandex.ru/handbook/ml Тренировки МЛ: https://yandex.ru/yaintern/training/ml-training PS Пока искал полезные ссылки, наткнулся на общие требование и меня вынесло: Будет плюсом, если работали с DL - это же пиздец. Забудьте те слова, которые я готорил про адекватность. 2️⃣ Т-банк Слышал про стажировку только позитивное, правда придется пахать, но многое зависит от команды. Очень приятный офис на белорусской с вкусной столовой. Стажечка: https://education.tbank.ru/start/ml_engineer/ Онлайн-учебник: https://deepmachinelearning.ru/ ТГ канал: @tbank_education PPS Второй рофл: пишут будет плюсом - Знаете классические алгоритмы: линейная регрессия, бэггинг, бустинг, Умеете работать с Git Какой вы ML, если не знаете классику и как вы будете работоть в бигтехе без Git - я не знаю 3️⃣ МТС🥚 Был тут сам и самое главное, что будет на стажке - прикладной опыт. Так что если вам хочется реальных проетов, то welcome. Сайт с отдельными вакансиями: https://job.mts.ru/programs/start 4️⃣ Сбер✨ В моем вузе в прошлый набор, Сбер пропылесосил весь третий курс, так что попасть очень реально, будет классно, если вы знаете агентов, ну и рефер не помешает. Стажка: https://sberstudent.ru/internship/ Зарплата🔫 Самая приятная, но не очень большая вещь в первой работе - тебе начинают платить. Обычно в бигтехах за 40 часов платят от 75-90к грязными. Что может хватить на квартиру в Подмосковье и пару пачек макарон. Итоги🗒 На стажировки придется попахать, чтобы задержаться в IT, в ином случае потом вам вряд ли обьяснят все процессы и шишки набивать будет все более Полезные посты для подготовки🍴 1️⃣Все классические курсы для подготовки 2️⃣Как я собесился до первого оффера 13 раз 3️⃣Вкатиться в агенты

Пособесимся?)🥵 Пока ваш любимый матрос галер пытается понять как из 24 часов сделать 40, чтобы успеть все сделать, ему предложили пособесится в AI стартап эксортницей в Дубайск part-time. На самом деле, middle ml разраб позиция с 2 годами опыта. Условия🍟 Полный remote в Дубай или Грузию, команда из 40 человек, делают что-то по безопасности с помощью ИИ. По зп-5к вечно зеленых, ну и какие то опционы при очень хорошей работе(блиииииин, без печенек в офисе). Задачи на собесе🪥 Поскольку интервью было вводное, ни кодинга, ни MLSD, не было. Первый вопрос был классическим: Чем LSTM отличается от трансформера? Я ответил просто - механизмом внимания и немного добавил архитектуры. В фото более полноценный ответ. А вот вторая задача оказалась нетривиальной: требовалось классифицировать тип приложения по зашифрованному трафику, проходящему через VPN. Сначала я рассматривал два подхода — либо извлекать признаки и обучать классические модели машинного обучения, либо пытаться решать задачу end-to-end с помощью трансформеров. На практике оказалось, что решение проще: достаточно было применить нейронную сеть и позволить ей автоматически выявлять зависимости в представлении трафика — в результате модель на сыром или слегка предобработанном представлении трафика успешно выделяла информативные паттерны для классификации. Что думаю?🤨 Очень интересно понимать свою вилку в стартапах и что я могу получить в валюте, так что если вам зайдет такой формат и будет много реакций и комментов, то я расчехлю свой OPEN_TO_WORK, а пока буду оптимизировать лишний час между работой, учебой и туалетом💗

Тенденции или почему стажировки становятся все важнее📊 На DS Night у Никиты Зелинского спросили про то, как попасть к компанию. Он ответил, что у МТС сейчас много курсов, есть ШАД, открывается всё больше стажировок — и это, кажется, часть более широкой тенденции. Суть в том, что компании всё чаще строят собственные треки набора и подготовки: от школьных курсов и «входных» программ до стажировок и офферов. Проще говоря — людей ведут от парты прямо к офисному столу. И на это есть рациональные причины. 1️⃣ Деньги и риск найма Найм с рынка дорог: нужны HR, время на поиск, интервьюеры, долгое согласование. Когда компания берёт человека через свою программу, она сокращает риски и издержки — обучение и оценку кандидатов можно встроить в сам процесс. Для команды это часто дешевле и предсказуемее, чем открытая вакансия. 2️⃣ Навык учиться важнее профильных знаний Компании ценят способность быстро учиться и адаптироваться. Человек, который с 16 лет ходит на корпоративные курсы, решает практические задачи, участвует в хакатонах и конкурсах — демонстрирует именно этот навык. К тому же фундаментальную математику и теорию часто дают только профильные вузы; курсы компании позволяют нацеленно прокачать именно те компетенции, которые нужны бизнесу. 3️⃣ Контроль качества и соответствие задачам Внутренние треки позволяют вырастить специалиста под конкретные продуктовые задачи и культуру команды: стандартизированные задания, критерии оценки и менторство делают переход в команду более гладким. Так что для меня причина сокращения jun / jun+ позиций — это не только появление ИИ, но и новая стратегия бигтехов: вместо массового найма через открытую вакансию компании всё активнее создают собственные треки — курсы, проекты, летние стажировки — и отбирают людей уже внутри этих программ. Да и будем честны, задачи стажеров сейчас мало чем отличаются от задач middle специалистов💗