DeepSchool

Всё ещё учите модели в Jupyter-тетрадках?Тогда вы рискуете отстать от индустрии! Лет 7-8 назад при онбординге в новый проект могла возникнуть такая ситуация: новичка отводили к «хранителю» юпитер-ноутбука. Они вместе смотрели на ячейки и передавали сакральные знания о том, в каком порядке их нужно нажимать. Хороших разработческих практик от ML-специалистов тогда не требовали. Им было бы не помереть от дебага первого tensorflow:) Но сейчас фреймворки стали очень высокоуровневыми и простыми в использовании, а запустить обучение сети на своих данных может быть задачей нескольких минут-часа. Для многих задач есть стандартные подходы/модели, и обучение — это самая простая часть при построении ML-решения. Помимо этого нужно ещё собирать чистые данные, доводить решение с ML-моделью до клиентов и следить за тем, как она чувствует себя на бою. ML-специалисты всё больше становятся похожи на разработчиков: они версионируют код (и данные), следят за его поддерживаемостью, пишут тесты, автоматизируют процессы через CI/CD, следят за воспроизводимостью экспериментов и т.д. От «магии» в ноутбуках мы приходим к инженерным практикам, которые делают решения более надёжными и поддерживаемыми, а релизы — более частыми. Работодателям это нравится, а людей, делающих простой fit-predict, они уже не хотят:) Чтобы помогать инженерам не отставать от индустрии, мы когда-то и создали нашу школу. В первую очередь мы подтягивали именно инженерные навыки, в курсе CVRocket. А сейчас мы сделали новый курс по разработке DL-сервисов и скоро его анонсируем! Также на следующей неделе мы проведём открытую лекцию про путь модели после обучения. Ставьте 🔥, если актуально!

🎞Pytest и внешние ресурсы Написать тест на простую функцию, которая ни от чего не зависит — одно удовольствие. Говорим, какие входы, какие выходы ... profit. Но как быть, если вы хотите протестировать функционал, который зависит от внешних сервисов? Ходить в production-базу во время тестов — так себе затея 😉 Для этого нам нужно либо в нужных местах мо́кать/манкипатчить, либо подменять внешние зависимости на что-то, что мы развернули локально для тестов. В этом видео мы начнём с «лёгких и быстрых», но далёких от реального поведения методов тестирования. А закончим «тяжёлыми, но близкими»: - mock/monkeypatch - pytest-httpserver - pytest-docker-compose Смотрите видео по ссылке: https://youtu.be/zCyQHZNOVCU?si=py7bNxI18ugU74_5

Подкаст «Под капотом». Тимлидство и хакатоны Мы приглашаем в подкаст экспертов, чтобы понять, как работают сложные системы изнутри. В этом выпуске к нам пришёл Валя Мамедов, LLM-инженер из SberDevices. В первой части мы поговорили про LLM, а во второй обсудили: - что могут дать хакатоны опытным инженерам - сложности перехода из бэкенда в машинное обучение - внедрение практик разработки в мл (когда нужно, а когда нет) - возвращение из тимлидов в инженеры и сложности карьерного роста Смотрите выпуск по ссылке! https://youtu.be/IM76-DPrh1s?si=md9H0sd3TCMG_xHU

🎞Гессиан. Видео Методы второго порядка используют вторые производные функции потерь. Важный элемент этих методов — гессиан. Он и является второй производной по параметрам модели. Главная проблема гессиана — его долго считать. Учёные придумали различные методы для его аппроксимации, чтобы экономить вычисления. А недавно появились и алгоритмы оптимизации, которые используют эти аппроксимации. О методах второго порядка мы и записали наше новое видео! В нём Шамиль Мамедов, исследователь из Amazon Robotics, напоминает теорию численной оптимизации и рассказывает про методы приближения гессиана. А также проходится по Sophia — свежему оптимизатору, который использует методы второго порядка. Смотрите новое видео на Youtube!

Введение в OCR. Часть 1 Ранее мы писали про CLIP4STR — SOTА-модель в OCR на основе трансформера. А сейчас решили сделать цикл публикаций об OCR, потому что задача обширная и популярная 🙂 OCR состоит из нескольких задач: найти текст ➡️ распознать текст ➡️ извлечь информацию. Последний пункт помогает, например, найти отправителя и получателя платежа или общую сумму в чеке. Для каждого из этапов есть свои модели. Но с появлением мультимодальных трансформеров можно решать все этапы End-to-End! В новой статье мы рассмотрим: - основные этапы решения OCR - ключевые SOTA-модели для каждого этапа - развитие подходов в OCR - и, конечно, современные бенчмарки / модели / фреймворки Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/OCR-1-25c5e5c9f928486a80cb67020de270af?pvs=4

Научитесь решать задачи компьютерного зрения в 3D В субботу прошла открытая лекция «Погружение в 3D CV», на которой мы рассказали о терминах, инструментах и задачах в этой области, обсудили, почему она становится популярнее и почему CV-инженеру важно с ней знакомиться. А также представили курс 3D Computer Vision! На курсе вы на практике научитесь: — сегментировать лидарные облака — писать SLAM-алгоритмы — строить 3D-модели объектов — создавать аватаров — синтезировать данные в Blender — обучать NeRF, 3D Gaussian Splatting и другое 🔥 Это будет последний поток в формате онлайн-лекций в Zoom, где вы можете задавать вопросы спикерам по ходу лекции и общаться в конце в кулуарах. Лекторы — опытные инженеры и исследователи. Каждый расскажет про задачу, с которой несколько лет работал в коммерческих проектах или лабораториях. После каждой лекции — домашнее задание, которое проверяют спикеры курса. 🎁 До 4 октября вы можете записаться со скидкой 5%. 🗓 Начинаем 8 октября! Переходите на сайт, изучайте подробности, выбирайте подходящий тариф и присоединяйтесь к обучению. До встречи на курсе!

Лекция-погружение в 3D CV На прошлой неделе мы проводили мастер-класс, на котором учили беспилотную машину видеть. Если вы его пропустили или хотите подробнее познакомиться с областью 3D CV, то приходите на открытую лекцию в эту субботу, на которой познакомим…

Blender для генерации данных Не всегда получается найти достаточно данных, чтобы решить задачу. На помощь приходят синтетические данные, которые можно замешать с реальными, а то и вовсе попытаться обучиться только на них. Даже если у нас есть достаточное количество реальных данных, синтетика может упростить отладку решения на искусственных примерах с изолированной проблемой. Но как получить синтетику для 2D или 3D-данных? Один из вариантов — нарисовать в Blender. В этой статье мы обсудим: - как программировать в Blender и работать с библиотекой BPY - где найти подходящие 3D-модели для генерации синтетики - как сгенерировать 2D-датасет из 3D-сцены - каким образом можно получить разметку для двумерной сегментации и детекции из Blender - и как аугментировать получаемый датасет в Blender Читайте новую статью по ссылке: https://deepschool-pro.notion.site/Blender-8311ac63114d4d1f82cebda4d5e0733f?pvs=4

Лекция-погружение в 3D CV На прошлой неделе мы проводили мастер-класс, на котором учили беспилотную машину видеть. Если вы его пропустили или хотите подробнее познакомиться с областью 3D CV, то приходите на открытую лекцию в эту субботу, на которой познакомим вас с основными терминами, задачами и инструментами. На лекции вы узнаете: - какие задачи решают в 3D - почему таких задач становится больше - с чего начать погружение в эту область - почему CV-инженеру важно знакомиться с 3D - что такое SLAM, SfM, SMPL, NeRF, 3D Gaussian Splatting и другие баззворды🐝 Также мы расскажем, как присоединиться к последнему онлайн-потоку курса 3D Computer Vision🔥 А всем участникам лекции подарим скидки на обучение! 🗓 28 сентября, суббота, 13:00 МСК. 🎁 После регистрации вы получите miro-схему с описанием направлений и инструментов в 3D. Регистрируйтесь по ссылке — увидимся в субботу!

«Релиз на салфетке». Спасаемся от самокатов при помощи CV🛴 В этом формате мы собираемся командой инженеров, выбираем забавную задачу, брейнштормим, строим велосипеды и космолёты 🚀 Как будто решаем продуктовую задачу, но без сроков, рамок и коммитментов. А от того веселее 😉 В этом выпуске мы спасались от самокатчиков, которые врезаются в прохожих. Начали с советов «да приклей зеркала и ходи-посматривай», а закончили ключевыми точками, трекерами и foundation-моделями. Смотрите выпуск на YouTube!

Tensorboard для Pytorch Иногда в небольших проектах нам не очень хочется использовать слишком сложные инструменты для логирования метрик и артефактов. Здесь на помощь приходит Tensorboard — несложный инструмент для визуализации и мониторинга машинного обучения. В новой статье мы познакомимся с ним поближе и узнаем, как можно: - залогировать разные типы данных: видео, картинки, скаляры, распределения и графы - создать красивую визуализацию эмбеддингов - и сделать кастомные графики Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/Tensorboard-Pytorch-5a3a54c7844048d9b2bc53b39b6f5460?pvs=4

CV-задачи над 3D-данными Помимо 2D-изображений с камер всё чаще используются сенсоры, позволяющие получить трёхмерные данные. У таких сенсоров больше степеней свободы и они требуют других подходов к обработке. В новой статье мы рассмотрим: - какие бывают сенсоры и источники 3D-данных - как можно представить эти данные для эффективной обработки сетями - какие подходы можно применить для решения задач классификации, детекции, сегментации Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/CV-3D-0cfd8c893bc645dbbb324bf208a27af2?pvs=4