ML Baldini • Nikita Boyandin

#Petprojects#Computer_vision#13дней Где-то месяц назад я был на Union Meetup, где познакомился с Володей. В моменте я не успел с ним плотно познакомится, а самое интересное я начал узнавать из его тг-канала. Помимо того, что он ведет очень крутой образ жизни, так и у него есть афигенный бот Емеля. Он по фотографии может определять калорийность продуктов, что очень помогает в подсчете КБЖУ и 100% будет полезна тем, кто следит за питанием. Так вот о чем я... Если уже есть реализация калорийности, почему нам не пойти чуть дальше и по фото находить артикулы вещей по WB. У этого проекта точно есть бизнес-значимость, да и клиентскую базу мы быстро найдем(от простых обывателей до стилистов, дизайнеров и перекупов). Ну что ж, давайте писать MLSD💗 1⃣ Формулировка проблемы ML-задача: гибридная система 🧍 Обнаружение одежды на любом фото — YOLOv8 📦 Поиск похожих вещей из базы WB — через эмбеддинги 🖼 Дополнительно: сравнение самих изображений (image similarity metrics) Итоговая метрика — комбинируем сходство в фичах и визуальную близость Ввод: любое фото с человеком Вывод: топ-N максимально похожих вещей из Wildberries 2⃣ МетрикиmAP (YOLOv8) Top-K Accuracy (поиск по базе) Perceptual similarity (LPIPS / SSIM) Скорость отклика blended score (эмбеддинг + визуал) 3⃣ Архитектура системы Пайплайн такой: Пользователь отправляет фото Бот → backend Backend: YOLOv8 находит вещи Из каждой — кроп Кропы → эмбеддинги (CLIP / ConvNeXt) Быстрый top-N поиск по базе (FAISS) Для кандидатов — сравнение картинок через LPIPS / SSIM Итог: top-3 самых похожих вещей Модули: detector.py: YOLOv8 инференс embedder.py: CLIP / ConvNeXt index.py: FAISS similarity.py: визуальное сравнение (LPIPS, SSIM) re_ranker.py: пересчёт итоговой метрики wb_parser.py: загрузка каталога WB bot.py, server.py: интерфейс и API 4⃣ Сбор и подготовка данных YOLOv8: размечаем датасет одежды с разных фото (street / соцсети / fashion lookbooks) WB база: Скачиваем карточки Фотки товаров → эмбеддинги Храним оригиналы для сравнения Фокус: обогащать базу и следить за качеством карточек 5⃣ Feature Engineering Resize + нормализация кропов CLIP эмбеддинг → быстрая фильтрация LPIPS / SSIM между оригинальным кропом и картинками-кандидатами Комбинированная метрика: score = α * similarity_in_features + β * image_similarity 6⃣ Обучение и оценка YOLOv8: дообучаем под задачи детекции одежды CLIP / ConvNeXt: pretrained Ручная проверка выдачи: насколько "похоже" выглядит подбор 7⃣ Telegram API Пользователь просто шлёт фото — и получает: 🧍список вещей на фото 🔗 артикулы + кнопки WB 🔄 “Похожие”, “Подобрать капсулу”, “Запомнить” 8⃣ Деплой и обновление FastAPI + Docker Хостинг: Railway или VPS Регулярное обновление базы артикулов Мониторинг качества: фидбэк от юзеров ❤️ - Сделать MLSD по LLM

#Petprojects#Classic_ML#14дней В последнее время люди, которые только готовятся пойти на стажку в ML, очень часто забивают на pet-projects, заменяя их хакатонами. Как по мне это большое упущение, поэтому я написал 5 постов(ML-system-doc) на каждую из сфер ML(classic, nlp, CV, RL, recsys). Надеюсь, что вам понравится такой формат💗 Первый проект можно считать классикой - предсказание аренды на жилье в Москве. Еще полгода назад я столкнулся с тем, что цены в Циан не очень соответствуют сезонности. Поэтому тут это проект. 1⃣ Формулировка проблемы ML-задача: регрессия (прогноз числового значения — аренда/мес) Запрос от пользователя: https://www.cian.ru/rent/flat/ Ответ от бота: По нашему прогнозу, справедливая цена аренды этой квартиры — 72 000 ₽ в месяц. Объявленная цена завышена на 14%. 2⃣ Метрики RMSE / MAE — классика для оценки качества регрессии R² — для понимания "насколько хорошо мы объясняем данные" Процент отклонения от реальной цены (если есть ground truth) 3⃣ Архитектура системы Схема взаимодействия: 1. Пользователь отправляет ссылку на квартиру 2. Telegram-бот → backend 3. Backend: Парсит сайт (например, ЦИАН или Авито) Извлекает характеристики квартиры Преобразует фичи Прогоняет через ML-модель Возвращает прогноз и комментарий Компоненты: parser.py: парсинг HTML страницы, извлечение признаков featurizer.py: преобразование признаков model.pkl: обученная модель (например, CatBoost) bot.py: Telegram API (через python-telegram-bot) server.py: FastAPI backend (для API запросов) 4⃣ Сбор и подготовка данных Источник: парсинг сайтов объявлений (ЦИАН, Авито) Фичи:Район / метро, площадь, кол-во комнат, Этаж / этажность, тип дома, год постройки, наличие мебели, ремонта и т.д. 5⃣ Feature Engineering Категориальные фичи: one-hot / target encoding Гео-признаки: расстояние до центра / метро Текст: ключевые слова из описания Признаки из HTML (например, "свежий ремонт", "панорамные окна") 6⃣ Разработка модели и оффлайн-оценка Модели:baseline — Linear Regression Бустинг — LightGBM / CatBoost CV: по району или дате публикации Валидация на отложенных квартирах 7⃣ Интеграция с Telegram API 🕺Бот слушает команды: /predict https://www.cian.ru/rent/flat/ Отправляет ссылку на backend Получает и форматирует ответ: ✅ Справедливая цена 📈 Отклонение 📍 Район / метро 🧱 Характеристики квартиры 8⃣ Деплой, мониторинг и обновления FastAPI-сервер → Docker-контейнер Хостинг: Railway / Render / VPS Мониторинг: лог ошибок парсера, частота запросов, время ответа Обновление модели: периодический запуск пайплайна с новыми данными Кэширование популярных ссылок (по id квартир) ❤️ - Сделать MLSD по CV

#прикольные_выходные 🔵 2:1 ⭐️(овертайм) В первый раз в жизни попал на игру плейофф КХЛ. Втб арена очень крутая, болельщики просто машины, вся арена шумит) Надеюсь, что Динамо выйдет в следующий круг и я ещё раз схожу на их домашнюю игру💗

Модели ранжирования в тексте 👌 На работе я сталкивался со многими сторонами поиска чего-либо в тексте, одно из них - модели ранжирования. Зачастую их использование дает наибольший прирост в метрики, также можно использовать в качестве второй модели в ансамбле(например, Faiss и bm25). Далее будет общий рассказ про каждый из методов: 1. TF-IDF (Term Frequency-Inverse Document Frequency) TF-IDF — это классический метод ранжирования, который оценивает важность слова в документе на основе его частоты (TF) и обратной частоты в коллекции документов (IDF). Чем чаще слово встречается в документе и реже в коллекции, тем выше его вес. Плюсы: ✅Простота реализации и интерпретации. ✅Хорошо работает для базовых задач поиска. ✅Эффективен для выделения ключевых слов. Минусы: ❌Не учитывает порядок слов или контекст. ❌Предполагает независимость терминов, что не всегда верно. ❌Чувствителен к длине документа без нормализации. 2. BM25 BM25 — это эволюция TF-IDF, добавляющая нормализацию длины документа и насыщение термина (уменьшение влияния чрезмерно частых слов). Использует вероятностный подход для ранжирования. Плюсы: ✅Учитывает длину документа, что делает его более справедливым. ✅Эффективен для поиска в реальных коллекциях (например, веб-поиске). ✅Хорошо настраивается через параметры (k1, b). Минусы: ❌Требует подбора параметров для конкретной задачи. ❌По-прежнему игнорирует семантические связи между словами. ❌Может быть менее эффективен для коротких запросов. 3. Divergence from Randomness (DFR) DFR — это модель, основанная на измерении отклонения наблюдаемого распределения терминов от случайного. Использует концепцию "риска" для оценки релевантности документа запросу. Плюсы: ✅Теоретически обоснован, учитывает случайность распределения терминов. ✅Гибкость за счет различных вариантов реализации (например, INE, PL2). ✅Хорошо работает с неоднородными коллекциями. Минусы: ❌Более сложен в реализации и понимании. ❌Требует вычислительных ресурсов для больших коллекций. ❌Чувствителен к выбору параметров нормализации. 4. Language Models (LM) Модели языка оценивают вероятность генерации запроса документом, используя статистические языковые модели. Часто применяются с сглаживанием (например, Dirichlet, Jelinek-Mercer). Плюсы: ✅Учитывает вероятностную природу языка. ✅Может интегрировать контекст и порядок слов. ✅Хорошо адаптируется к задачам с естественным языком. Минусы: ❌Требует больших вычислительных ресурсов для обучения и работы. ❌Зависит от качества сглаживания и размера коллекции. ❌Сложнее настраивать и интерпретировать. Выбор алгоритма зависит от задачи: для простых случаев достаточно TF-IDF, для поиска в вебе — BM25, для специфичных коллекций — DFR, а для семантического анализа — LM. Сверху будет представлен ноутбук для практического понимания 🧂 Надеюсь вам понравится этот формат постов, обязательно ставьте реакции и пишите комменты💗

Наконец-то нормальное применение gpt💗 @eboutdatascience

Ребятушки, сейчас не так часто пишу посты в тг канал, но тут вышла моя первая статья в блоге 🥚, думаю вам понравится: https://habr.com/ru/companies/ru_mts/articles/892654/ Посты скоро вернутся💗

#наподумать #47 #142 Уже середина марта, а значит самое время для написания курсовых, дипломов и так далее 😓. И преподы практически во всех вузах требуют соблюдения ГОСТа, но для меня это было всегда мукой, так как не очень сильно хотелось в этом разбираться. Поэтому я сделал небольшой класс, который форматирует ваш курсач 👍(в файле). Также попробовал сделать с определенной темой(Оптимизация архитектур нейронных сетей с помощью AutoML фреймворк automl MLFlow) и генерацией llm 🌟. Результаты можете увидеть в прикрепленном файле. Думаю при лучшем промпте и llm, а также структуре, можно будет писать работы за 10 минут 🤨 ❤️ - обернуть в тг-бота 🏆 - почаще бы такие посты

Девушки, с праздником вас! 💐

#Инструменты Kubernetes📶 Для начала хотелось бы разобраться что это такое и с чем его есть. Kubernetes – это система оркестрации контейнеров, которая автоматизирует развертывание, масштабирование и управление приложениями. Но чем же он отличается от Docker? Docker предназначен для создания, упаковки и запуска контейнеров. Он обеспечивает изоляцию приложений и их зависимостей, делая приложения переносимыми и легко воспроизводимыми на любом устройстве. Kubernetes занимается автоматическим масштабированием, балансировкой нагрузки, обновлениями и восстановлением после сбоев, обеспечивая стабильную работу приложений в распределённой среде. То есть docker скорее для запуска отдельных контейнеров, а kuber для управления их работы на уровне кластера. С курсами тут все немного сложнее, чем у docker, но все-таки я нашел пару штук, которые кажутся наиболее релевантными: 1. Kubernetes для пользователей, курс отлично подойдет для новичков и понимая, но смущает отсутствие практики 2. Основы kubernetes, а вот уже курс на ютубе, с очень классным автором, и кучей практики, которую можно самому пощупать 3. Три курса по основам kuber от kube.academy(тут все под vpn) - тут собрано практически все, что вам нужно знать, так что дерзайте Надеюсь, данный пост вам был полезен, и вы сможете улучшить свои навыки 🫡 Всех обнял, приподнял💗

#Инструменты Docker ✅ Docker медленно, но очень верно становится обязательным приложением для Data Science(особенно, в связке в kuber). Возможность сохранять особенности своего окружения, при этом разворачивать проекты на своем устройстве делает Docker на 1000 процентов обязательный для человека в IT😍 Поэтому в этом посте я собрал бесплатные материалы для изучения, для тех, кто давно хотел, но руки не доходили: 1. Karpov.cources Классный курс, сам его проходил (буквально пару недель назад), немного душноват ну а как еще с docker 2. Docker для начинающий на Stepik + практический опыт 3. Docker, GIT и Gitlab CI для начинающих от преподавателей МФТИ 4. Ну и куда же без хабра Надеюсь, данный пост вам был полезен, и вы сможете улучшить свои навыки 🫡 Всех обнял, приподнял💗

#срочные_завозы Такс, после того, как я поучаствовал в бизнес-папке каналов тг в IT, мне захотелось собрать ахринительных ребят и сделать папку именно про ML, для того, чтобы контент в ней соответствовал запросам моей аудитории. Вот ссылка, на которую надо обязательно подписаться: https://t.me/addlist/VdbBEEpHXgU1MTYy Самые полезные посты ребят, которые надо обязательно прочитать: 1. Уничтожение собесов и полный пайплайн от Димы 🥂 2. Интересный роадмап по быстрому вкатыванию в датасаенс и отдельные посты (1,2,3,4,) по ботке разных дисциплин от Саши 🐕 3. Захар про свой стартап Audio2MIDI, который за месяц набрал 4к пользователей 🥂 В каналах еще кучу интересного, так что подписка обязательна💗

#Личное Моя стажировка в 🥚 Сражу скажу, этот пост мое личное отношение к стажировке, потому что за полгода, помимо работы, у меня была учеба и переезд. Так что очень важно оценивать по себе) Офис 👀 Мой офис расположен на станции метро Технопарк и честно это один из лучших офисов, в котором я был. На каждом этаже есть какие-то приколюхи, по типу PlayStation, библиотеки, массажные кресла или Вкусвилла. Что было, когда я пришел 🗿 МТС считается молодой IT-компанией и мы были одними из первых стажеров по ML(кстати, позиции ML developer до сих пор не существует). Кстати, к MST AI, которые в последнее время радуют нас моделями и разработками, мы не имеем доступа, так как это отдельная юридическая компания. Поэтому в начале приходилось больше просто узнавать, чем сразу браться за проекты Специфика моей команды 😁 Одним из главных отличиев нашей команды было то, что она состояла только из стажеров. И у этого есть две стороны медали: с одной стороны, мы получили огромный опыт и кучу знаний, с другой, приходилось все узнавать сразу в бою, было допущено кучу ошибок и проекты шли непозволительно долго. Мои советы 💪 Изучите Docker, промпт-инжениринг, fast-api, kuber, как развернуть llm на сервере и пользоваться ей Мой путь, куда я иду дальше 🥂 На даный момент я(middle developer) продолжаю изучать RAG, немного ушел в графы, а следующие полгода буду изучать много DE. В планах научится руководить всеми процессами разработки, далее закончить ШАД и немного углубится в backend 😃 Главное, запомните, нетворкинг ваше все, с ним будет намного проще💗