DeepSchool

Masked Image Modeling Когда в мире существуют огромные запасы неразмеченных данных — книги, статьи, фотоальбомы, видеоролики, возникает естественный вопрос: «Как можно использовать такой почти неограниченный ресурс для обучения нейронных сетей без трудоёмкой ручной разметки?». Здесь нам на помощь приходят методы Self-Supervised Learning (SSL) — они позволяют извлекать полезную информацию напрямую из самих данных. В новом посте мы познакомимся с одним из самых перспективных направлений SSL в Computer Vision — Masked Image Modeling, а также узнаем, что это, как появилось и где стоит использовать. Читайте новую статью по ссылке!

Score Distillation Sampling в задаче text-to-3D Диффузионные модели активно используются в задачах генерации 2D, будь то изображения или видео. Современные text-to-image модели обучались на огромном корпусе данных и в результате научились генерировать разнообразные картинки высокого качества. Однако как применить диффузионные модели в 3D? Одно из возможных решений этой проблемы — метод, предложенный в работе DreamFusion — Score Distillation Sampling. Авторы предлагают использовать знания, которые есть в предобученной text-to-image модели для обучения 3D генератора. В новом посте разберём основную идею метода, а также, в каких ещё задачах применяется такой подход. Рассмотрим интуицию, а также математику идеи и посмотрим, какие результаты можно получить. Читайте по ссылке! 🪔DeepSchool

DeepSchool Digest⚡️ Уже по традиции: собрали все материалы за прошедший месяц в одном посте⤵️ ✔️Внедряем модель c использованием model-serving фреймворков, NVIDIA Triton и Torchserve — рассказываем о процессе внедрения нейронных сетей и фреймворках сервинга — инструментах, которые помогают его упростить. ✔️End-to-End модели OCR — знакомим с End-to-End решениями — решениями задачи детекции, распознавания и извлечения ключевой информации всего лишь одной моделью. ✔️Ускорение диффузионных моделей за счёт кэширования — рассматриваем ещё одну парадигму ускорения диффузионных моделей — ускорение самого шага сэмплирования. В этом обзоре разбираем две работы про кэширование при сэмплировании для свёрточных диффузионных моделей. ✔️Как избежать хаоса в разметке данных и улучшить качество ML-моделей — разбираем, как можно избежать хаоса в разметке данных, и почему это влияет на качество ML-моделей. ✔️YOLO history. Part 7 — продолжаем разбор моделей из семейства YOLO. В этой статье разобрали сразу две архитектуры: YOLOv7 и YOLOv9.

YOLO history. Part 7 Продолжаем разбор моделей из семейства YOLO 😉 2024 год, похоже, стал рекордным по количеству релизов: сразу четыре новые модели пополнили семейство YOLO. Чтобы за ними успеть, сегодня мы разберём сразу две архитектуры: YOLOv7 и YOLOv9. Обе они разработаны авторами YOLOv4, но при этом демонстрируют разные подходы к архитектуре и обучению. В этой статье мы узнаем: - что общего между 7-ой и 9-ой версиями и чем они отличаются от 4-ой - чем отличаются аббревиатуры ELAN, E-ELAN и GELAN - зачем нужны вспомогательные модели и как их можно использовать для ускорения обучения Читайте новую статью по ссылке!

Как избежать хаоса в разметке данных и улучшить качество ML-моделей Модель — вершина айсберга при построении качественного DL-решения. Почти всегда залог успеха — большое количество хорошо размеченных данных. И наоборот: даже самая сложная архитектура не спасёт, если данные размечены с большим количеством ошибок. Плавающие инструкции, непроверенные аннотации, пограничные случаи и «интуитивная» логика разметчиков — всё это снижает точность и надёжность ML-систем. В новой статье мы поговорим о том, как навести порядок в разметке: 📌 что такое Data-Centric AI и зачем он нужен 📌 какие ошибки чаще всего встречаются в разметке 📌 как организовать процесс, чтобы не переделывать потом весь датасет 📌 почему даже «простая» инструкция требует версионирования, онбординга и метрик Читайте статью по ссылке!

Как перейти от простого обучения моделей к созданию полноценных NLP-систем? Вы обучили свою LLM, построили эмбеддер или воспользовались API, но: — RAG-решение галлюцинирует и не выдерживает нагрузку — AI-агент не справляется с реальными сценариями — Эмбеддинги плохо работают на специфичном домене — Классификация и поиск дают нестабильные результаты — Качество модели со временем падает Эти проблемы — не редкость. Обучение модели — это только часть решения. Чтобы запустить рабочую NLP-систему, нужно уметь адаптировать её под домен и ограничения. Мы готовим новый курс LLM Pro, на котором разберём, как строить системы, которые работают в реальном мире: 🔹 Соберём свою RAG-модель: от ретривера и реранкера до генерации ответов и оценки качества 🔹 Построим AI-агента, который сможет выполнять сложные сценарии 🔹 Настроим BERT и эмбеддинги под домен 🔹 Решим задачи классификации, поиска, кластеризации и NER с учётом ограничений Это продвинутый курс для тех, кто хочет научиться строить надёжные NLP-решения! 🚀 Обучение стартует 22 мая! 📢 Записывайтесь в лист ожидания, чтобы первыми узнать подробности о курсе и получить лучшие условия на обучение.

✉️Ответим на ваши вопросы! Мы готовим материалы с разбором проблем DL-инженеров в рабочих проектах и хотим узнать, какие темы для вас интереснее всего! Напишите, какие у вас есть вопросы по текущим задачам или в чём давно хотите разобраться, а мы выберем самые популярные темы и подготовим по ним статьи, видео и лекции! Собираем идеи до 7 апреля включительно. Оставляйте свои предложения в комментариях к посту или заполняйте форму.

Ускорение диффузионных моделей за счёт кэширования При генерации диффузионными моделями мы много раз вызываем достаточно большую модель. Это делает процесс генерации очень долгим в сравнении с теми же GAN'ами, поэтому важно ускорять диффузионки. Ускорить их можно двумя способами: 1. уменьшить количество шагов генерации 2. ускорить каждый шаг генерации О втором методе мы и поговорим в новой статье. В ней мы рассмотрим две работы: DeepCache и Cache Me if You Can — в которых предлагают кэшировать часть фичей декодера UNet. Статьи вышли примерно в одно время, но в них есть различия, которые мы также обсудим. Подробнее читайте по ссылке! 🪔DeepSchool

Продвинутый Computer Vision В базовых туториалах редко акцентируются на том, что сплошь и рядом встречается в реальных задачах: специфичные корнер-кейсы, шумные данные, трёхэтажные постпроцессинги и прочее. Мы создали курс CV Rocket для практикующих CV-инженеров, чтобы показать инженерный взгляд на Computer Vision и помочь вам решать трудные задачи! На программе мы разберём большинство задач компьютерного зрения, погрузимся в сложные случаи, возможные проблемы с данными и интересные корнер-кейсы, вы узнаете лучшие практики и поймёте «а как же правильно». Обучение начинается 13 мая! Скоро мы будем знакомить вас с необычными задачами из Computer Vision и рассказывать подробнее про курс. А сейчас изучайте программу и записывайтесь в лист ожидания! Мы свяжемся, когда начнём собирать группу, расскажем о тарифах и подарим скидки на обучение первым участникам.

Стартовал 2 поток курса «Деплой DL-сервисов» 🚀 На этой неделе мы провели вводную встречу, на которой студенты нового потока познакомились друг с другом. А уже 25 марта ребят ждёт первая лекция по настройке репозитория🔥 Если вам тоже интересно научиться создавать и деплоить DL-сервисы и стать частью коммьюнити, которое объединяет опытных и начинающих специалистов из разных компаний и стран, то до первой лекции ещё можете присоединиться к курсу! Узнать подробнее о программе и оплатить курс можно по ссылке!

🔥Ищем практикующего DL-инженера на роль главного редактора канала! Простыми словами, главный редактор управляет генерацией идей для контента и даёт последний апрув на публикацию материала. Если подробнее, главред отвечает на вопросы: — какую тему из предложенных лучше выбрать для публикации? — как рассказать в блоге про определённый курс школы? — что будет интересно и полезно написать по теме Х? — доступно ли написан текст для читателей канала? — какие новые форматы и рубрики можно ввести? Что мы даём: — доступ ко всем курсам школы — добавим в сообщество школы, где проводим литклубы и другие встречи со спикерами и выпускниками — ежемесячный оклад — свободный график, нагрузка 4-6 часов в неделю Что ожидаем от вас: — умение писать простым языком о сложных вещах — готовность писать статьи в блог и посты в телеграм — широкие познания в DL: быть знакомым с различными DL-задачами и их решениями — опыт в индустрии от 4 лет — желание создавать понятный и полезный контент ⚠️ Опыт в роли главреда совершенно не важен! Важны только желание создавать контент и опыт в DL. Создатели школы передадут стиль и подход к созданию материала и будут поддерживать во всех вопросах на старте! Если вы тоже хотите учить людей через блог, который рекомендуют в индустрии, заполните, пожалуйста, анкету!

End-to-End модели OCR В серии статей по OCR мы уже познакомились со всеми вводными,CRAFT’ом, детекторами текста на основе трансформеров (раз и два),Differentiable Binarization и CLIP4STR. У традиционных многостадийных решений OCR бывает непросто уследить за всем зоопарком моделей, датасетов и постпроцессингов, которые они порождают. А при несущественном (на первый взгляд) изменении формулировки задачи может потребоваться весь этот зоопарк реализовать заново. В новой статье мы рассмотрим End-to-End методы анализа документов и расскажем, как можно решать различные задачи OCR с помощью всего лишь одной модели. В обзоре мы рассмотрим такие модели, как Dessurt, Donut и OmniParser, и поймём, почему иногда специализированную модель применять лучше, чем универсальную VLM. Читайте статью в нашем блоге по ссылке! 🪔DeepSchool