DeepSchool

ModelSoups: варим суп из моделей Если вы когда-нибудь участвовали в хакатоне или пытались повысить качество продуктового решения — скорее всего, вы уже сталкивались с усреднением предсказаний нейронных сетей. Но что делать, если мы хотим улучшить точность решения, не потратив при этом дополнительного времени на инференс нескольких моделей? Ответ есть: усреднение весов моделей, а не их выходов. В 2022 году вышла статья, поймавшая тогда большой хайп: “Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time”. Авторы показали, как можно из нескольких моделей получить одну — лучшую по качеству модель за счет усреднения весов. В нашей статье мы подробно разобрали теорию и результаты, чтобы вы могли применять этот подход в своих задачах 🙂 Сегодня мы рассмотрим: - Model Soups подход к усреднению весов модели и его результаты - теорию подхода, а также границы применимости и сопутствующие требования - применение подхода в СV и NLP направлениях Читайте новую статью по ссылке: https://www.notion.so/deepschool-pro/ModelSoups-2a26f819d3964a61ac7bdde0e48897c8?pvs=4

Задачка про Docker🖥 Мы завели канал DeepSchool | CV Rocket для того, чтобы рассказывать, как учить модели и как их потом доставлять до клиента (писать сервисы). И там, и там помогает Docker. Предлагаем вам интерактив по нему: мы задаем вопрос, вы отвечаете в комментариях и получаете пиццу за правильный ответ! Чтобы собрать docker-образ, в docker-файле нам обычно нужно перетащить весь код и установить зависимости. Это делают две строчки на изображении под этим постом. Они даже решат нашу задачу, но с ними что-то не так...🤔 Пишите в комментариях: - что не так в этих строчках - как их можно улучшить Мы загадали два варианта решения. Первому комментарию на каждое из этих двух улучшений мы подарим пиццу 🍕 Варианты принимаются под постом с задачей в канале DeepSchool | CV Rocket до 14 марта 17:00 МСК. Потом мы выложим правильный вариант. Ответ выложим там же через 2 дня. Предлагайте свои решения!

3D Gaussian Splatting Gaussian Splatting (GS) — новый метод рендеринга, которому прочат большое будущее в индустрии компьютерной графики. Gaussian Splatting превосходит state-of-the-art методы, сочетая высокое качество синтеза с быстротой обучения и отрисовки. Сейчас активно разрабатывают новые применения метода. Использовать GS уже можно в самых разнообразных задачах: от 3D-аватаров до навигации. Из текста вы узнаете, как Gaussian Splatting: - использует гауссианы для представления трёхмерного пространства - позволяет эффективно отрисовать новые изображения для сцены - обучается создавать детализированное представление сцены Читайте нашу статью по ссылке: https://www.notion.so/deepschool-pro/3D-Gaussian-Splatting-Revolutionizing-Real-Time-Radiance-Field-Rendering-73cfad31a57c443d9c073f2b7aa246eb?pvs=4

Девушки, поздравляем с вашим днем! 💐 Статистика нашего канала говорит, что в Data Science мужчин в 4 раза больше, чем женщин! И в это начинаешь верить, вспоминая составы команд на работе)) Но знайте, коллеги всегда готовы вас поддержать, помочь, подсказать и выслушать. Ведь важно не количество, важно какие вы умные, образованные и уникальные! Пусть весна будет по-настоящему теплой для вас! С вашим днем!

Как работают продуктовые Computer Vision команды? DeepSchool зародился летом 2021 года, когда мы создали наш первый онлайн-курс Computer Vision Rocket. Идея создания курса пришла с осознанием того, как много DL-инженеров разбирается в математике, и как мало из них «хорошо программируют», а еще меньше умеют в «командную разработку». Вот был бы курс, куда приходишь и тебе ребята из индустрии рассказывают: - как управлять экспериментами и данными внутри команды - что такое хороший код и как его поддерживать - как создавать веб-сервисы - какие фреймворки для каких задач использовать - какие сложности встречаются в разных CV-задачах и как их решать В общем, показали бы как работают CV-команды, на вопросы ответили бы и весь мой код отревьюили🤩 … подумали мы и сделали такую программу. В этом месяце стартует 7 поток! И мы хотим рассказать вам больше о разработке CV-приложений в индустрии и о нашем курсе! Но чтобы не утомить читателей канала, которым эта тема не интересна, создали отдельный: CV Rocket Подписывайтесь, если хотите утянуть к себе пару полезных техник/фреймворков/подходов и узнать больше о том, как работают в DL-командах!

Negative learning Зачастую датасеты, на которых мы проводим обучение, далеки от идеала: и люди, и автоматические алгоритмы допускают ошибки при разметке. Иногда сами данные могут быть противоречивы, что негативно влияет на качество моделей. Есть множество методов улучшения качества на шумных данных, один из которых — Negative learning. Сегодня мы поговорим о нём, а именно узнаем: - в чём ключевая идея подхода - его плюсы и минусы - и как добиться очень хороших результатов на шумных данных Читайте статью по ссылке: https://www.notion.so/deepschool-pro/Negative-learning-73aec5da12254cd09b7710fe1d133e44?pvs=4

Стартовал курс «Ускорение нейросетей»🎉 В понедельник была вводная встреча со студентами первого потока! Мы проводим такие встречи в начале каждого курса, чтобы познакомиться, рассказать, как будет проходить курс, и зарядить ребят на обучение 🔥 Уже завтра пройдёт первая лекция “Distillation” Разберём, что такое дистилляция и DarkKnowledge, функции потерь, дистилляцию для уменьшения архитектуры, дистилляцию в классических CV-задачах, также затронем и NLP. В качестве практики в этой лекции студенты будут дистиллировать сеть для задачи сегментации человека. Остаётся 24 часа, чтобы присоединиться к курсу «Ускорение нейросетей»! За 10 недель вы ускорите нейросеть разными методами и запустите её на нескольких устройствах ⚡️ На программе вы научитесь: - ускорять нейросети, понимая теорию каждого алгоритма - комбинировать разные подходы и решать вытекающие трудности - оптимизировать инференс, сохраненяя точность - запускать сети на различных устройствах - использовать особенности железа и фреймворков OpenVino, ONNX Runtime, TensorRT, NNApi Это всё с поддержкой от опытных инженеров. Каждый спикер несколько лет занимается той темой, которую преподаёт на курсе. Вступайте в наше сообщество и получите возможность перенимать опыт у действующий специалистов из области ускорения. 🎓 Переходите на сайт, изучайте подробности и присоединяйтесь к «Ускорению нейросетей»! До встречи на обучении!

Q-Learning Q-Обучение — один из фундаментальных алгоритмов обучения с подкреплением. Его использовали ещё при обучении агентов в играх на Атари. Он актуален и сегодня — применяется, например, в офлайн-обучении с подкреплением. Из новой статьи вы узнаете: - как работают методы обучения с подкреплением, основанные на функции ценности - какие есть методы для оценки этой функции - что такое уравнение Беллмана - и конечно же, какой алгоритм у Q-обучения. Читайте нашу статью по ссылке: https://www.notion.so/deepschool-pro/Q-314e0f83efb14ef19b12ffaacfc2b4a6?pvs=4

ClearML Data Management Чем DL-специалисты отличаются от разработчиков? Помимо кода нам надо версионировать ещё эксперименты, данные и модели. Git здесь не поможет и на помощь приходят инструменты из мира DS. Один из таких инструментов — ClearML. ClearML — это огромный комбайн, решающий множество задач, от логирования метрик до деплоя сервиса. Но сегодня мы рассмотрим его именно как инструмент менеджмента датасетов. В новой статье вы узнаете: - какие возможности для работы с данными есть в ClearML - как использовать их с помощью командной строки или python-интерфейса - как добавлять информацию, csv файлы, дебаг изображения и графики - как кэшируются данные Читайте новую статью по ссылке: https://www.notion.so/deepschool-pro/ClearML-Data-Management-915ae05cd7654f4a9fff822c76c2ec7b?pvs=4

Это было круто! Спасибо, что пришли вчера на лекцию! Вы молодцы! Потому что вечером рабочего дня образовывались, были включены и задавали интересные вопросы!🎓 Отдельное спасибо за доверие к нашей команде тем, кто уже присоединился к курсу “Ускорение нейросетей”, который мы представили вчера на встрече! Если вы тоже хотите повысить свою экспертизу и ценность как DL-инженера, научиться ускорять нейросети, экономить компаниям ресурсы и создавать приложения для edge-девайсов и смартфонов — присоединяйтесь к курсу по ранним условиям! ⚡️Наша программа разделена на 2 блока: 1️⃣ Методы ускорения нейронных сетей — Distillation — Pruning — Matrix Decomposition — Low-Precision Computing — Neural Architecture Search (NAS) 2️⃣ Инференс на железе — CPU. x86 (Intel) — CPU. Android (ARM) — CPU. Микроконтроллеры — GPU — NPU В первой части вы научитесь комбинировать методы для ускорения сверточных и трансформер-подобных архитектур. А во второй использовать особенности железа и инференс-фреймворков (OpenVino, ONNX Runtime, TensorRT, NNApi) для оптимальной утилизации вычислителей. 10 недель 10 zoom-лекций 10 заданий 10 спикеров ∞ поддержки на встречах и в чате + возможность взять академ до следующего старта + доступ к новым лекциям 2-х следующих потоков 🔥действует только сейчас! 23 февраля будет повышение цены, успевайте оплатить или внести предоплату, чтобы зафиксировать скидку! Подробнее о программе, спикерах и скидках на сайте программы — присоединяйтесь к обучению!

Начинаем лекцию через 1,5 часа, успевайте зарегистрироваться! Напомним, что для слушателей мы подготовили туториал по использованию фреймворков для инференса: ONNX Runtime, TensorRT и OpenVino. 📺До встречи сегодня в 18:00 МСК!