ML Baldini • Nikita Boyandin

#kaggleСоревнование по баскетболу Наконец-то дождались!) Пришло время предсказывать исходы матчей по баскетболу, и за малейшую погрешность в прогнозах можно даже выиграть деньги (привет, 1xbet 🤡) Что мы предсказываем? 🤨 Мы будем угадывать результаты Мартовского безумия – самого масштабного студенческого баскетбольного турнира в США. В отличие от России, где студенческий баскетбол не привлекает столько внимания, в США этот турнир собирает полные арены, миллионы зрителей и миллионы разговоров.Наша задача – предсказать исходы каждого возможного матчапа между командами, используя богатейший архив исторических данных как для мужских, так и для женских соревнований. Метрика 🤔 Оценка прогнозов производится по Brier Score – метрике, эквивалентной среднеквадратичной ошибке. Чем ниже твоя ошибка, тем выше твоя позиция на лидерборде Данные 😏 Исторический архив игр NCAA: Мужские турниры с 1985 года и женские с 1998 Подробная статистика:Результаты регулярных сезонов и турнирных игр, детальные боксовые счета, данные по местоположению игр, сезонные параметры и многое другое Если точно уверены, что будете ботать этот месяц, то жду вас в лс, уверен, что смогу помочь команде залутать медальку или свести с нужными людьми 💪 ❤️ - радует Kaggle в последнее время соревнованиями 🏆 - вперед за медалькой

#стажировки Ну что ж, уже через 3 недели весна, а значит самое время подаваться на стажки. Для себя я выделил 9 компаний, по которым постарался собрать максимально возможную информацию. 1. Сбер😌 Есть общая волна подачи стажировок Sber seasons(начинается в марте), в которой очень сложно дойти до финальных собесов(скорее возьмут тех, у кого есть рефер родственники в компании), поэтому попробовать стоит, но не сильно). Как альтернативное предложение поиск на сайте. Тут и по вакансиям больше ясности, плюс нет потоков и дат. 2. Альфа😸 Пока даты набора тут тоже нет, но они обычно стартуют в апреле. Стажировки в Альфе советую смотреть в их канале. Тут они лучше их расписывают (задачи и команды), да и лаборатория Альфы будет явно интереснее. 3. Тиньков 😓 Только закончился зимний набор и в скором времени должны всем прийти приглосы на собес. Новый набор стартует в апреле, главное не забудьте указывать их курсы, если вы их проходили. 4. Яндекс🦆 Тут все по-старому, контест только обновился, всем удачи и держитесь) Не забывайте про их тг канал, там, например, выходил пост про ML-стажировки. 5. VK 🤨 Тут без наборов, берут под отдельные вакансии. Вакансий нет, поиска и системы рекомендаций тоже. На самом деле, единственный и главный совет, который я могу вам дать - это ищите hr, знакомьтесь с ними, и через узнавайте про вакансии. Это сохранит вам кучу нервов от прохождений контестов и ожиданий результатов. ❤️ - Отличный пост, самое время включаться 🔥 - Обзор на стажировку в🥚

#один_процент 🤨 Не всегда нужно быть в два раза лучше, чтобы получить в два раза больше. Достаточно быть на 1% лучше — и это преимущество с каждым днем будет давать результат 😰. Это правило объясняет, как минимальные, но стабильные улучшения могут привести к потрясающим результатам в любой области жизни. Не важно, будь то бизнес, спорт или личное развитие, малое преимущество в долгосрочной перспективе имеет огромную силу. Постоянные усилия, даже на маленькие доли процента, со временем превращаются в значительный результат. Маленькие шаги, большие результаты 🤦‍♂ Каждый день становясь на 1% лучше, вы через год будете уже на 37% успешнее. Эти небольшие улучшения постепенно складываются в грандиозные изменения. Конкуренция 😛 Тот, кто делает чуть больше, чем остальные, начинает накапливать преимущество. Это не значит, что нужно делать невероятные усилия. Все, что нужно — это каждый день быть немного лучше. Принцип «Победитель забирает всё» 💪 Когда вы удерживаете это преимущество, то каждая победа становится не просто результатом, а дополнительным бонусом, который будет приносить вам ещё больше дивидендов в будущем. 🤪 - ооооо, я стану лучшей версией себя, спасибо мотивационным роликам из shorts ❤️ - все-таки рабочая схема

Всем привет! Мы собрали мощную подборку чатов, где тусуются разработчики, команды и эксперты, двигающие IT-индустрию вперед. Здесь делятся крутыми разработками, инсайтами и опытом, который сложно найти в открытом доступе. 📂 Папка с каналами доступна по ссылке Не упусти шанс стать частью сильного IT-комьюнити! 🔥

#Что_там с мл в футболе💗?) Когда я увидел эту вакансию, понял, что моя жизнь никогда не станет прежней. Соединить то, чем ты занимался с 7 лет, со своей основной работой — звучит невероятно. Так где там нужен ML и чем мы можем помочь Арсеналу в завоевании чемпионства?) 1. Поиск талантов 🤨 Самая сложная и одновременно простая работа, в которую идеально вписывается ИИ. Мы можем взять футбольную команду до 16 лет, оборудовать их датчиками движения и анализировать данные. Благодаря машинному обучению, агентам не нужно будет летать по всему миру, так как все ключевые моменты можно будет отслеживать через видео игры и данные с датчиков. Конечно, окончательный выбор будет за агентами, но процесс отбора станет гораздо более точным. 2. Следить за здоровьем игроков 😏 ИИ может анализировать данные, связанные с физиологическими параметрами игроков, что позволяет футбольным специалистам принимать более обоснованные решения для улучшения здоровья, повышения выносливости и готовности к матчам. Модели МО могут помочь выявить параметры, которые влияют на физическое состояние и благополучие игроков, что дает возможность тренерам корректировать тренировки для оптимальных результатов. 3. Использование МО для тактики: Обучение с подкреплением 🥂 В тактическом анализе футбольных команд можно использовать методы обучения с подкреплением, когда агент взаимодействует с окружающей средой (поле) и принимает решения на основе наблюдений. Например, система может обучаться оптимальной тактике в реальном времени, учитывая переменные, такие как позиции игроков, изменение ситуации на поле и даже стиль игры соперников. Это позволяет развивать динамичные и эффективные стратегии, применимые в реальных матчах. 4. SWOT-анализ для футбольных команд 🐕 Внедрение МО в футбольную тактику можно оценить с помощью SWOT-анализа, который поможет выделить сильные и слабые стороны стратегии, выявить возможности для роста и угрозы. Это позволяет футбольным клубам более эффективно использовать возможности ИИ и улучшать слабые стороны, а также минимизировать риски. ❤️ - Наконец-то прикладной пост 🏆 - Пошли выигрывать ЛЧ

#Что_там с ML в dating-приложениях💗?) Приложение для знакомств в идеальном мире не дает вам возможности смахивать или выбирать. Оно просто берет кучу информации о вас, а затем представляет вам оптимального партнера. С помощью ML мы можем повысить вероятность успешного свидания и оказать поддержку в отношениях. Что я предлагаю: 1. Заполнение анкеты через агента, при этом динамически генерируя вопросы 😁 Система создает уникальные, контекстно-зависимые вопросы на основе предыдущих ответов. Этот адаптивный опрос позволяет сделать процесс оценки более интересным и показательным. По мере того, как пользователи дают ответы, ИИ анализирует эти ответы, чтобы генерировать все более индивидуальные и проницательные последующие вопросы. Этот динамический подход помогает раскрыть тонкие аспекты личности, которые могут быть упущены статическими анкетами. 2. Общение с агентом 😳 Обязательное общение с llm поможет сделать адаптивную классификацию личности. Вместо того, чтобы полагаться на жесткие категории, ИИ анализирует целые разговоры, чтобы предоставить тонкие интерпретации личностей пользователей. Эта функция выходит за рамки простого сопоставления шаблонов, используя расширенную обработку естественного языка для понимания контекста, тона и тонких языковых сигналов(для этого желательно анализировать еще и видеоконтент) 3. Моделируемые взаимодействия 👀 Представьте себе LLM, обученного на всех ваших прошлых взаимодействиях во время свиданий, включая ваши шутки, идиосинкразии и личные анекдоты. Затем эта персонализированная модель ИИ будет помещена в моделируемые взаимодействия с моделями ИИ потенциальных партнеров. Проведя сотни таких смоделированных свиданий, система сможет предоставить не только простую оценку соответствия, но и: Рекомендацию «идти/не идти» для поиска реального свидания Индивидуальные стратегии для первого свидания на основе смоделированных взаимодействий Понимание потенциальных областей совместимости и конфликта 4. Лингвистический и поведенческий анализ 🤨 Анализируя использование языка, настроения и выбор тем в разговорах пользователей с приложением (и потенциально с другими пользователями), мы можем построить комплексные профили личности. Этот подход включает: Создание профилей личности Сопоставление на основе IQ, общительности и других производных черт Постоянное обновление профилей для отражения постоянного личностного роста и изменений пользователей ❤️ - делаем агента для знакомств 😂 - а агент вместо тебя на свидание идет?)

#Чтиво_на_вечер №1 Mamba mentality - Коби Брайант Книга про одного из величайших баскетболистов всех времен, человек, который своим отношением к работе покорил многих людей, оказавший огромное влияние на культуру баскетбола во всем мире. Лет до 16 я был далек от баскетбола, так как родители не захотели отдавать меня на секцию, потому что боялись, что я буду слишком высоким(гены обмануть не получилось, рост у меня 194). Но уже тогда Коби был для меня феноменом. Каждый день на футбольном поле я видел пацанов с его фамилией и выгравированный номер 8 на спине. Почему это было странно?) Потому что мы жили в эпоху главного футбольного противостояния всех времен, Месси и Роналду, Реал и Барселона, МСН(прим. Месси, Суарес, Неймар) и ББС(Бэйл, Бемзема, Роналду) Когда ты начинаешь играть в баскетбол, его мир тебя окутывает, и первый три имени, которые ты услышишь - Майкл Джордан, Коби Брайант, Леброн Джеймс. Но именно к Коби у меня лежит душа из-за его стремлению к работе, свод правил, который он повторял каждый день своей 20-летней карьеры, который превратился в целую философию - Mamba Mentality. В 37 лет(37!) после разрыва ахилла, он проводит свой последний матч, где набирает 60 очков и заканчивает свое славное путешествия с 5 перстнями чемпиона НБА, 2 олимпийскими золотыми медалями, 2-MVP финала НБА. Для себя я выделил несколько основных поинтов этой книги, которыми хочу поделиться с вами: 1. Семья - это главное Даже несмотря на свои легендарные тренировки в 4 утра, Брайант всегда возвращался к детям на завтрак, и для меня это просто невероятно. 2. Находить подход к каждому сопернику и улучшать своих партнеров В книге уделено огромное количество строк как великим соперникам Брайанта, так и его сокомандников. У каждого, даже у самого великого спортсмена, он находил слабые стороны, через которые он мог играть. Его насмотренность поражает. 3. Заминка, подготовка к матчам также важны, как и сами игры У Брайанта была целая команда людей, которые делали его тело невероятно сильным и здоровым. Именно его отношение к делу сделали его великим, а не талант 4. Даже с травмами идти вперед, они всего лишь ограничивают тебя Брайант играл с сотнями травм в матче, но никогда на это не жаловался. Для меня было 2 знаменательных момента: 1) Когда ему тренер вправил палец по время игры, 2) в 2013 году с порванным ахиллом он сначала исполнил 2 штрафных и только затем покинул площадку 5. Защита выигрывает чемпионство, а не нападение Человек, который занимает 4 место по очкам в НБА, половину книги говорит о защите. 6. Использовать все возможности игры Коби писал, что нужно использовать все возможности, чтобы выиграть. Толчки, захваты, задержки, если это не видят судьи и приводят к промаху, значит ты сделал все правильно 7. Нет ничего важнее перстней(победы в чемпионате) Ты всегда жаждешь победы, несмотря на все твои предыдущие заслуги. Именно это отличает хороших спортсменов от великих(примерно также я сужу о жизни) Надеюсь, вам понравился этот пост и он даст вам много пищи для размышлений. Жду ваших реакций и комментариев, скоро увидимся снова💗

Итоги года №1🚗 Этому каналу уже около полутора года 😱, но только с мая я изменил контент и выделил его основную задачу. Я хотел показать свой путь в IT, рассказать о сложностях на собесах, о хакатонах и так далее 😭. Видимо, это и вправду удалось, и у моего канала появилась своя аудитория, даже иногда проскакивала реклама. Хочется сказать вам огромное спасибо за все эти возможности, вы реально лучшие 💗 Помимо канала, я также вкладывался в развитие Linkedin, где у меня уже почти 1000 контактов 😏, но на этой платформе пока не хочется особо развиваться, так как на ней мне не особо нравится коммуникация с пользователями, да и создана она больше для поиска 😡 Планы на следующий год грандиозные, скорее всего, этот канал выступит фундаментом для захода в другие площадки 🥂. Также сейчас пишу новые форматы, но при это старые также останутся, что позволит сделать контент более разносторонним и интересным🔥

#Мероприятия Вернуться в канал хочется с высокой ноты, а куда выше чем концерт Markul на втб арене😆?) Для меня он был и остаётся самым любимым исполнителем📈, потому что 90 процентов его треков настолько запали мне в душу, что разбуди меня в глубокой ночи и включи минус, я все равно спою BID наизусть🤓 Марк, спасибо огромное за шоу🔥, спасибо всем артистам, которые выступали с ним(там был и обла 👏, и салуки 🫦 и федук 🫡) А я пока пойду подводить итоги года💗

И снова мемы)))

#Коллабы #road1k ML system design - это та вещь, с которой я столкнулся только когда уже был на стажировке, причем сразу с книжки Валерия Бабушкина(кстати, он подписался на меня в Linkedin 😭). У Димы есть невероятно классный пост про старт в mlsd и как их…

Уничтожение LLM System Design 😎 Как отвечать на собеседовании, если вас спросят: «Постройка мне чат-бота с помощью LLM»? Разберем основные шаги на конкретной задаче. Основываясь на этот пост, пройдёмся по пунктам. 1️⃣Нужно чётко сформулировать цель, задачу, ограничения и ресурсы. Прям пытайте интервьювера, чтобы выдал все исходные данные 🍗 Задача: создать чат-бота, который отвечает на финансовые запросы. Исходные условия: - В продакшене уже используется API GigaChat (временное решение). - Доступен API ChatGPT. - Есть два ассессора. - Ответы предоставляются без контекста. Ограничения: - Ответ за максимум 2 минуты. - Аппаратные ресурсы: 4 GPU (80 ГБ каждая, A100). 2️⃣Теперь нужно определиться с метрик. Обычно в задачах построения дизайна система выделяют три вида метрик Бизнесовые метрики 💸 - Уровень автоматизации — процент запросов, обработанных ботом без операторов. - Снижение затрат — экономия на поддержке - Удержание клиентов — сколько пользователей продолжают пользоваться услугами после общения с ботом. Но эту метрику сложно определить, поэтому для простоты стоит поделить на тех пользовался чат-ботом, а кто не пользовался. Онлайн-метрики: - Удовлетворенность клиентов (CSAT) — пользовательская оценка (1–5). Оффлайн-метрики: - Loss — насколько хорошо обучена модель. G-Eval — метод «LLM as Judge», когда одна модель оценивает ответы другой по качеству (например, от 1 до 5). Оценка ассессоров — реальные люди оценивают ответы по техническому заданию. Это ключевая метрика, с которой можно проверить корреляцию с G-Eval. Бенчмарки — открытые или специально созданные под задачу бизнеса. 3️⃣Теперь нужно определиться с данными, откуда и сколько их получить, а также как поделить на Train/Test 🕺 Выделяем ключевые сущности: У нас есть диалог, а в диалоге: - Запрос пользователя - Ответ модели - Маркер начала диалога - Идентификаторы запроса, ответа, пользователя и т.д. Способы получения данных: ➡️Синтетика — быстро и дешево, но требует проверки (например, через G-Eval). ➡️Открытые датасеты — бесплатны, но их нужно очищать (GPT или предобученные модели). ➡️Собственные данные — качественно, но дорого и долго (нужны четкие ТЗ для копирайтеров). Объем данных: Для обучения LoRA потребуется хотя бы 10 тысяч примеров для тренировки и около 700 для тестирования. Для упрощения пока исключаем поиск контекста, работу с контекстом распишу в следующей части) 4️⃣ Построение пайплайна обучения 😺 Бейзлайн: предположим, что у нас уже есть метрики для текущего решения (например, на GigaChat). Входные данные: X — запрос пользователя. Y — эталонный ответ. Модели: llama3.1 400b. Пробуем сначала запромпить модель и смотрим на результаты бенчмарков. saiga_llama3.1 70b. Сначала промптим, затем обучаем под конкретную задачу. Loss: Используем CrossEntropyLoss — простой и надежный метод для обучения LoRA на основе SFT. Метрики: На тренировочной выборке оцениваем Loss. На тестовой — G-Eval, оценки ассессоров (на 500 случайных примерах) и бенчмарки. Деплой: Для деплоя используем vllm. 5️⃣ Потенциальные улучшения 🐒 - Добавить контекст в ответы для повышения точности модели (реализуем в следующей части). -Применить ORPO-метод, чтобы модель лучше понимала, какие ответы допустимы, а какие нет. - Квантизация или дистилляция для того, чтобы уменьшить latency