DeepSchool

Сервинг модели Grounding DINO с BentoML Доставка ML-модели до конечного пользователя так же важна, как и её разработка. В одной из предыдущих статей мы уже рассказывали про model-serving при помощи фреймворков Trition и Torchserve. В новой статье показали пример, как обернуть модель Grounding DINO при помощи другого популярного фреймворка — BentoML. 🍱 Читайте новую статью по ссылке! 🪔DeepSchool

⚡️Через месяцстартует новый поток курса «Ускорение нейросетей» Мы уже готовим новые материалы на эту тему, а пока давайте вспомним базу по ускорению. Для этого мы собрали подборку наших публикаций, из которых вы узнаете про основные принципы, познакомитесь с методами ускорения свёрточных нейросетей и LLM. 1. Введение в методы ускорения свёрточных нейронных сетей — рассказали, какие существуют методы ускорения и как они связаны, познакомились с NAS, прунингом, дистилляцией и квантизации ей. 2. В чём же считать: fp8, fp32 или fp16 — в каких типах данных крутить нейронку, чтобы сэкономить память и не потерять точность? В этой статье разобрали, как они работают, где их лучше применять, как учить, инференсить и с какими подводными камнями здесь можно столкнуться. 3. 3 фишки для ускорения LLM — рассмотрели 3 популярных метода ускорения LLM — инференс-фреймворки, спекулятивное декодирование и квантование. 4. Практическое применение ускорения — рассмотрели задачи ускорения, связанные с автопилотом, обработкой видео с дронов и беспилотными поездами. 5. 11 вопросов CTO про ускорение нейросетей — в этом видео Саша Гончаренко, СТО стартапа enot.ai и хэдлайнер нашего курса «Ускорение нейросетей», ответил на разные вопросы, связанные с ускорением нейросетей. Почему нельзя просто взять маленькую модель? Не скучно ли ускорять модели? А можно сделать NAS NMS на NPU? Изучайте материалы и записывайтесь на новый поток, который стартует 30 сентября! До 19 сентября вы можете записаться в лист ожидания. Для его участников действуют скидки до 20%!🔥

Краткая история механизма внимания в NLP Механизм внимания — один из ключевых компонентов современных нейросетей, позволяющий моделям концентрироваться на важных фрагментах данных. Это повлияло на улучшения в разных областях: NLP, Robotics и GenAI. В новой статье рассказываем историю появления и развития механизма внимания👨🏼‍💻 Из этой статьи вы узнаете: - какие были предпосылки появления механизма внимания - какие основные принципы работы self-attention, cross-attention и multi-head self-attention - и как работает позиционное кодирование и маскирование Читайте статью по ссылке!👈

Как уменьшить время сборки и размер Docker-образов? Docker — стандарт для контейнеризации при разработке и эксплуатации приложений. По мере роста проекта разработчики часто сталкиваются с проблемами увеличения времени сборки Docker-образов и их размера. В новой статье рассматриваем методы, которые помогут уменьшить размеры образов и ускорить процесс их сборки🚀 Читайте статью по ссылке! И приходите на курс «Деплой DL-сервисов», на котором вы наведёте порядок в репозиториях и внедрите лучшие практики в свои проекты! 🪔DeepSchool

Научитесь создавать и деплоить DL-сервисы Вчера на лекции мы представили новый поток курса «Деплой DL-сервисов» и приглашаем на него вас! На программе вы научитесь: ➖писать код для обучения моделей «по фэншую» ➖конвертировать модели в JIT и ONNX ➖версионировать данные, эксперименты и модели ➖автоматизировать рутину и быть уверенным в своём коде ➖писать веб-сервисы на FastAPI ➖собирать приложения с помощью Docker ➖сервить модели с NVIDIA Triton ➖тестировать веб-сервисы и подменять зависимости при помощи DI ➖настраивать CI/CD и деплоить веб-сервисы на удалённые машины «по кнопке» ➖мониторить веб-приложения при помощи Prometheus и Grafana После каждой лекции вас ждет домашнее задание, а в конце курса — проект, где можно применить все полученные навыки. На протяжении всего обучения вас будут поддерживать опытные инженеры: ревьюить ваш код, отвечать на вопросы во время лекций, на Q&A-сессиях и в чате. 🚀 Курс стартует 28 августа ⚡️До 27 августа для подписчиков DeepSchool действует скидка 5%! Изучайте подробности о программе и спикерах и присоединяйтесь к обучению. Если возникают вопросы, пишите нам в поддержку в Телеграм!

Инструменты для деплоя DL-моделей DL-инженеру уже недостаточно учить модели в Jupyter-тетрадках, чтобы соответствовать запросам индустрии. Важно уметь доводить их до пользователей. В этот четверг на открытой онлайн-лекции мы покажем, как выглядит путь модели после обучения! На лекции вы узнаете: - когда стоит использовать Jupyter-ноутбуки, а когда нет - как подготовить репозиторий моделинга - варианты конвертации модели - как обернуть инференс в http-приложение - чем помогает Model Serving - как деплоят приложения и автоматизируют этот процесс А в конце представим новый поток курса «Деплой DL-сервисов». Всем участникам лекции подарим скидки на обучение!🔥 🙋‍♂️Спикеры лекции: — Дмитрий Раков — руководитель ML в НИИАС, делает perception-алгоритмы для беспилотных поездов — Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer KoronaPay ⏰Дата и время: 21 августа, чт, 18:00 МСК Регистрируйтесь по ссылке и до встречи в четверг вечером!

DeepSchool Digest⚡ Все материалы за последний месяц — коротко! ✔️RAG — от первой версии к рабочему решению — пошагово разобрали каждый компонент RAG-системы, объяснили типичные ошибки и дали план действий по улучшению ванильной версии. ✔️3D CV, diffusion models и получение PhD | Подкаст «Под Капотом» c Олей Гребеньковой — поговорили с Олей Гребеньковой, спикером курса «3DCV» в DeepSchool. ✔️Ускоряем LLM на раз, два, три — разобрали ключевые методы ускорения и обсудили, что действительно работает. ✔️YOLO history. Part 8 — рассмотрели устройство архитектур YOLOv8 и YOLOv11, а также отличия академического и индустриального подходов к созданию нового детектора. ✔️Диффузионные модели: пошаговый план изучения — подготовили пошаговый план изучения диффузионных моделей и основные ресурсы. ✔️VLM для детекции объектов на изображении — привели обзор OVOD-моделей, основанных на Vision Language Model (VLM).

VLM для детекции объектов на изображении У традиционных детекторов есть серьёзное ограничение: набор классов определён обучающей выборкой (Closed-set Object Detection). В попытках обойти его, создали новый класс детекторов, Open Vocabulary Object Detection (OVOD), для детекции произвольных объектов. В новой статье мы привели обзор таких OVOD-моделей, основанных на Vision Language Model (VLM). Из статьи вы узнаете: - какие есть подходы для применения VLM к задаче Object Detection - какие результаты сравнения моделей на бенчмарках для Closed-Set и Open Vocabulary детекций - почему идеи CLIP всё ещё актуальны Читайте новую статью по ссылке!

Диффузионные модели: пошаговый план изучения Диффузионные модели, как и трансформеры, внесли весомый вклад в глубокое обучение и определили современное состояние ИИ. Они лежат в основе генерации изображений (Stable Diffusion, DALL·E), синтеза видео (Sora, Runway ML), дизайна молекул и даже управления роботами (Teslabot, 1X). Сегодня во многих областях от DL-инженеров всё чаще требуется глубинное понимание диффузионных моделей. Чтобы помочь детальнее разобраться в их устройстве, мы подготовили пошаговый план изучения, а также основные ресурсы. План изучения 1. Основы теории вероятностей и статистики Диффузионные модели, как и все генеративные модели, основаны на принципах теории вероятностей. Фундамент для их понимания — условные и маргинальные распределения, правила сложения и произведения, свойства нормального распределения, расстояние Кульбака-Лейблера, неравенство Йенсена. Ресурсы: MML (главы 6.1-6.5); DLFC (глава 2); UDL (Appendix C), см. далее блок «Основные ресурсы». 2. Вариационные автоэнкодеры (VAE) Диффузионные модели и VAE — вариационные подходы к генеративному моделированию. Оба используют evidence lower bound (ELBO) для получения обучаемой функции потерь. Поскольку VAE проще для понимания, рекомендуем изучить его перед переходом к диффузионным моделям. Ресурсы: UDL (глава 17); DLFC (глава 19.2); ЯУМО (глава 8.2); Лекция Дмитрия Ветрова. 3. Denoising Diffusion Probabilistic Models (DDPM) Переходим к изучению самих диффузионных моделей! Начните с основополагающей работы, которая впервые раскрыла потенциал диффузионных моделей, — DDPM. Ресурсы: UDL (глава 18); DLFC (главы 20.1-20.3); ЯУМО (глава 8.5); Лекция Дмитрия Ветрова; Разбор статьи с кодом от Hugging Face. 4. Контролируемая генерация Диффузионные модели выучивают полное распределение данных. Для направленной генерации используют classifier-free guidance и classifier guidance (они не меняют веса на этапе генерации, но требуют обучения модели с поддержкой таких режимов) или методы дообучения, как ControlNet и LoRA. Ресурсы: DLFC (глава 20.4); ЯУМО (глава 8.5); CS492(D) (лекция 7). 5. Ускорение генерации Основной недостаток DDPM — низкая скорость генерации. Для решения этой проблемы разработаны более эффективные методы: Denoising Diffusion Implicit Models (DDIM), стохастические диффузионные солверы и дистилляция. Ресурсы: CS492(D) (лекции 5, 6, 14); Лекция Дмитрия Ветрова; Обзорная статья по быстрым диффузионным моделям. 6. Практическое программирование Ничто не даёт такого понимания концепта в DL, как программирование. Поэтому для закрепления теории рекомендуем выполнить задания из курса CS492(D) и Diffusion Models Course от Hugging Face. Основные ресурсы - Mathematics for Machine Learning (MML) - Understanding Deep Learning (UDL) - Deep Learning Foundations and Concepts (DLFC) - Учебник по машинному обучению от Яндекс (ЯУМО) - Курс CS492(D): Diffusion Models and Their Applications Автор: Шамиль Мамедов 🪔DeepSchool

YOLO history. Part 8 В предыдущей статье мы рассказали о том, как использовать вспомогательные модели для улучшения качества основной. В новой статье разберём устройство архитектур YOLOv8 и YOLOv11, а также отличия академического и индустриального подходов к созданию нового детектора. Читайте новую статью по ссылке!

Приходите на новый поток курса «Деплой DL-сервисов» Многие DL-инженеры знают, как готовить модели: выбрать архитектуру, лосс, на какие гиперпараметры обращать внимание и т.д. Но малая часть использует инженерные практики при тренировке моделей или знает, как довести их до пользователей. Чтобы освоить эти инструменты, записывайтесь на «Деплой DL-сервисов»! 📆 Обучение начинается 28 августа! А до 17 августа вы можете записаться в лист ожидания, чтобы раньше всех узнать подробности о курсе и получить скидку 17% Изучайте подробности о программе и спикерах и записывайтесь на новый поток!

Решение загадки ONNX Пришло время дать ответ на интерактив и наградить победителя! Решение задачи мы уже опубликовали в нашем блоге. Читайте по ссылке! Наш победитель, к которому отправится пицца: 🍕@zendeer Спасибо всем, кто участвовал! Пишите в комментариях, стоит ли проводить такие интерактивы чаще. 😄