Post #258

#Petprojects#Computer_vision#13дней Где-то месяц назад я был на Union Meetup, где познакомился с Володей. В моменте я не успел с ним плотно познакомится, а самое интересное я начал узнавать из его тг-канала. Помимо того, что он ведет очень крутой образ жизни, так и у него есть афигенный бот Емеля. Он по фотографии может определять калорийность продуктов, что очень помогает в подсчете КБЖУ и 100% будет полезна тем, кто следит за питанием. Так вот о чем я... Если уже есть реализация калорийности, почему нам не пойти чуть дальше и по фото находить артикулы вещей по WB. У этого проекта точно есть бизнес-значимость, да и клиентскую базу мы быстро найдем(от простых обывателей до стилистов, дизайнеров и перекупов). Ну что ж, давайте писать MLSD💗 1⃣ Формулировка проблемы ML-задача: гибридная система 🧍 Обнаружение одежды на любом фото — YOLOv8 📦 Поиск похожих вещей из базы WB — через эмбеддинги 🖼 Дополнительно: сравнение самих изображений (image similarity metrics) Итоговая метрика — комбинируем сходство в фичах и визуальную близость Ввод: любое фото с человеком Вывод: топ-N максимально похожих вещей из Wildberries 2⃣ МетрикиmAP (YOLOv8) Top-K Accuracy (поиск по базе) Perceptual similarity (LPIPS / SSIM) Скорость отклика blended score (эмбеддинг + визуал) 3⃣ Архитектура системы Пайплайн такой: Пользователь отправляет фото Бот → backend Backend: YOLOv8 находит вещи Из каждой — кроп Кропы → эмбеддинги (CLIP / ConvNeXt) Быстрый top-N поиск по базе (FAISS) Для кандидатов — сравнение картинок через LPIPS / SSIM Итог: top-3 самых похожих вещей Модули: detector.py: YOLOv8 инференс embedder.py: CLIP / ConvNeXt index.py: FAISS similarity.py: визуальное сравнение (LPIPS, SSIM) re_ranker.py: пересчёт итоговой метрики wb_parser.py: загрузка каталога WB bot.py, server.py: интерфейс и API 4⃣ Сбор и подготовка данных YOLOv8: размечаем датасет одежды с разных фото (street / соцсети / fashion lookbooks) WB база: Скачиваем карточки Фотки товаров → эмбеддинги Храним оригиналы для сравнения Фокус: обогащать базу и следить за качеством карточек 5⃣ Feature Engineering Resize + нормализация кропов CLIP эмбеддинг → быстрая фильтрация LPIPS / SSIM между оригинальным кропом и картинками-кандидатами Комбинированная метрика: score = α * similarity_in_features + β * image_similarity 6⃣ Обучение и оценка YOLOv8: дообучаем под задачи детекции одежды CLIP / ConvNeXt: pretrained Ручная проверка выдачи: насколько "похоже" выглядит подбор 7⃣ Telegram API Пользователь просто шлёт фото — и получает: 🧍список вещей на фото 🔗 артикулы + кнопки WB 🔄 “Похожие”, “Подобрать капсулу”, “Запомнить” 8⃣ Деплой и обновление FastAPI + Docker Хостинг: Railway или VPS Регулярное обновление базы артикулов Мониторинг качества: фидбэк от юзеров ❤️ - Сделать MLSD по LLM