DeepSchool

Подкаст «Под капотом». Generative CV ✌️ В подкасте мы говорим с экспертами из различных областей, чтобы понять, как работают сложные системы изнутри. В этом выпуске мы поговорили с Кирамом Аль-Харба, Research-инженером в области GenCV. В выпуске обсудили: - что такое генеративный CV, чем он отличается от «обычного» и где применяется - какие проблемы есть у GAN'ов, а какие у диффузионок. Почему последние выстрелили - есть ли в GenCV хорошие метрики или нужно на глаз ловить чекпоинты - какое будущее нас ждёт и как защищаться от дипфейков - что классного можно запустить у себя из open source Смотрите подкаст на youtube!

СlearML Session ClearML — огромный комбайн, который решает самые разные задачи: от логирования метрик до деплоя сервиса. Мы уже рассказывали про управление данными в этой статье, а сегодня рассмотрим следующий модуль экосистемы — ClearML Session. В статье вы узнаете: - как настроить себе рабочее место на удалённой машине - какие есть сценарии использования ClearML Session - что такое ClearML Agent - зачем создавать очередь задач и назначать их для выполнения агенту Читайте новую статью по ссылке: https://www.notion.so/deepschool-pro/ClearML-Session-611d2962606e448e83b8b6e26056ff0a?pvs=4

Задачка по генеративному CV У вас есть обученный свёрточный декодер, генерирующий текстурные изображения на основе вектора случайного шума. Архитектура декодера состоит из свёрточных слоев и upsample блоков. Все свёрточные слои имеют стандартные параметры:…

Введение в файн-тюнинг Stable Diffusion В середине 2022 года миру была представлена Stable Diffusion — диффузионная модель для генерации изображений, которая перевернула всю сферу генеративного computer vision. Открытие её исходного кода и весов сообществу позволило всем желающим изучать и адаптировать их для своих задач. Зачастую это требует дотренировки модели, поэтому исследователи придумали ряд способов, как осуществлять такую дотренировку на небольшом объёме данных без потери качества модели. Из этой статьи вы узнаете: - что такое Stable Diffusion и как она устроена - какие версии Stable Diffusion есть сейчас - различные методы файн-тюна: Textual Inversion, HyperNetwork, Dreambooth и LoRA, их сильные и слабые стороны Читайте статью по ссылке И подписывайтесь на DeepSchool

Глубокое Q-обучение В далеком 2016 году весь IT-мир заговорил об обучении с подкреплением — reinforcement learning, или RL. И неспроста: алгоритм глубокого Q-обучения научился играть в игры Atari на уровне людей-экспертов. С тех пор и проснулся большой интерес к обучению с подкреплением. Многие идеи, которые используются в глубоком Q-обучении, применяются также в современных алгоритмах. Из этой статьи вы узнаете: - как адаптировать классическое Q-обучение для решения реальных задач - какие трюки используют для стабилизации тренировок в глубоком Q-обучении - и, конечно же, что представляет собой сам алгоритм глубокого Q-обучения Читайте новую статью по ссылке: https://www.notion.so/deepschool-pro/Q-1ed7a65cc3d24a70928275bf0406296a?pvs=4

Задачка по генеративному CV У вас есть обученный свёрточный декодер, генерирующий текстурные изображения на основе вектора случайного шума. Архитектура декодера состоит из свёрточных слоев и upsample блоков. Все свёрточные слои имеют стандартные параметры: kernel 3х3, padding 1 и stride 1. Необходимо внести изменения в уже обученный декодер, чтобы генерировать бесшовные текстурные изображения, которые можно периодически замостить на бесконечной плоскости без видимых стыков. На рисунке ниже изображены два варианта генерации текстур в виде железных труб. В первом варианте декодер без изменений генерирует текстуру, которая мостит бесконечную плоскость со стыками. Во втором — декодер с изменением генерирует текстуру, которая мостит без видимых стыков. Ваша задача — предложить модификацию операции свёртки, которая позволит декодеру генерировать бесшовные текстурные изображения. Пишите свои варианты в комментариях, а правильный ответ мы расскажем через несколько дней. Автору первого правильного решения мы подарим пиццу 🍕 Ждём ваши варианты в комментариях!👇

Unsupervised Segmentation Сегментация — одна из самых востребованных и важных задач компьютерного зрения, но разметка данных под неё часто трудоёмкий и дорогой процесс. Сейчас всё чаще обращаются к решениям, которые не требуют разметки, к self-supervised подходам. В частности, успех DINO вдохновил исследователей использовать её «богатые» признаки для решения своих даунстрим задач, например, для сегментации изображения. Из этой статьи вы узнаете, как объединить два успешных решения для инстанс и семантической сегментации в новое универсальное решение, которое позволит решить сразу три вида задач сегментации изображения. Читайте новую статью по ссылке: https://www.notion.so/deepschool-pro/Unsupervised-Segmentation-b91e2f7a5441488eb4e37f63ee0a1d2a?pvs=4

Введение в генеративный Computer Vision Зрение — естественный, но крайне сложный процесс для человека. Мы не просто наблюдаем за каким-то объектом, мы смотрим на него сквозь призму наших знаний. Как научить компьютер воспринимать наш мир также? Один из способов — обучить его генеративному компьютерному зрению. В статье рассказали: - почему генеративный СV — один из путей к тому, чтобы компьютер понимал окружающий мир так же, как человек - как генеративный Computer Vision применяется в разных областях - какие задачи предстоит решить DL-инженерам и как в этом помогут генеративные модели Читайте статью по ссылке: https://deepschool-pro.notion.site/Computer-Vision-452ba8f085e6477aa17123848e28b1f3

Основные термины и инструменты в Generative Computer Vision Последние 2 года самая обсуждаемая и быстро развивающаяся тема в DL — генеративные модели. В CV это DALL-E, Midjourney, Stable Diffusion и прочие. Но на волне хайпа многие забывают, что помимо генерации авокадо-кресел, генеративки используют для реконструкции и генерации снимков в медицине, восстановления невидимой части объектов в робототехнике, в онлайн-примерочных в фешн-индустрии, в рекламе, дизайне и других областях. Мы тоже видим популярность и развитие генеративных моделей и хотим помочь вам разобраться в этом направлении. Поэтому вместе с инженерами и исследователями из области создаём курс Generative Computer Vision, а также готовим серию материалов. Наша программа позволит вам разобраться в теории генеративных моделей и, разумеется, отточить все навыки на практике. Мы хотим учесть ваши пожелания и поэтому предлагаем поучаствовать в небольшом опросе. Если вам интересно направление Генеративного Computer Vision, заполните, пожалуйста, короткую форму. Это займёт 3-5 минут. Вы можете пройти опрос вне зависимости от вашего грейда или направления в DL, нам важно мнение каждого, кому интересна область Gen CV. Для всех заполнивших мы подготовили zoom-лекцию по основным терминам и инструментам в Gen CV, на которой ответим на ваши вопросы и подарим скидки на обучение!🎓 Переходите по ссылке и заполняйте анкету.

Ответ на вопрос с собеседования 💼 ❶ Матрица весов для B: [1, 0, 0, 0, 1], вместе с паддингом (0, 2) свертка дает желаемую картинку. Ещё можно использовать свертку 5х5, заполнив все строчки нулями, кроме центральной. ❷ Матрица весов для D: [[1, 0, 0, 0, 1], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [1, 0, 0, 0, 1]] ❸ Изображение C оказалось самым сложным. Тут мы добавили небольшой секрет 🤫 Его можно получить из D применением следующей свертки: weight = torch.tensor([ [1, 0, 1], [0, 0, 0], [1, 0, 1], ], dtype=torch.float32)[None, None, ...] result = torch.nn.functional.conv2d(image_d, weight, padding=3, dilation=3) Изображения B и D легко поддались и вы нашли правильные ответы быстрее, чем за час! Изображение C было тяжелее, но зато получило самое необычное решение. Итак, победители, к которым отправляются пиццы: 🍕@Storks89 — первым нашел решение для изображения B 🍕@science_boy — первым нашел решение для изображения D 🍕@vdjakov — 2 пиццы за правильное решение для изображения С и за интересный подход с использованием СЛАУ для подбора весов свёрточного слоя!

💼Рубрика «Вопрос с собеседования» Очень короткий: подберите веса для одного или нескольких сверточных слоев так, чтобы из изображения А получить B, C или D. ⚠️Важно: обучать модель нельзя, такое решение мы не засчитаем. Советуем: отключить баес и не использовать активации между свертками. 🍕Авторам верных ответов отправим пиццу! По одной на каждую картинку. 🍕И бонусом подарим пиццу за самое подробное и интересное рассуждение! Итого можно выиграть 4 пиццы и не готовить 2 дня🤩 В комментариях напишите код или псевдокод для получения одной из заданных картинок. Результаты подведем завтра вечером! # Исходная картинка img = torch.tensor([ [0, 0, 0, 0, 0, 0], [0, 1, 1, 1, 1, 0], [0, 1, 2, 2, 1, 0], [0, 1, 2, 2, 1, 0], [0, 1, 1, 1, 1, 0], [0, 0, 0, 0, 0, 0], ])[None, None,...]

Как научиться решать3DCV задачи Вчера прошла открытая лекция «Погружение в 3D CV», на которой мы рассказали о терминах, инструментах и задачах 3D CV, обсудили, почему эта область становится популярнее и почему CV-инженеру важно с ней знакомиться. Также представили обновлённый курс 3D Computer Vision! 3D CV — это программа, на которой вы научитесь решать 3D задачи: сегментировать лидарные облака, писать SLAM алгоритмы, строить 3D-модели объектов, создавать аватаров, синтезировать данные в Blender, обучать NeRF, 3D Gaussian Splatting и другое. Кратко о курсе: 🔹все лекции проходят онлайн (записи выкладываем в тот же вечер) 🔹8 спикеров из индустрии и ресерча 🔹13 лекций, 12 заданий 🔹4 месяца поддержки в чате и на онлайн-семинарах Если вы не планируете переходить в области AR/VR, self-driving, GameDev, геосервисы, медтех и другие направления с активным применением 3D, то освоите работу с новыми сенсорами, научитесь решать 2D задачи новыми способами и расширите знания в CV. 🎁 До 29 апреля вы можете присоединиться к сильной команде инженеров (и тут мы не только про спикеров, но и про студентов) со скидкой! Старт потока 30 апреля. Подробнее о программе, спикерах и скидках на сайте программы — присоединяйтесь к обучению! До встречи на лекциях!🎓