DeepSchool

Метрики в задаче генерации изображений В мире машинного обучения все более популярными становятся модели генерации изображений. Для оценки их качества важно использовать надёжные и точные метрики. В этой статье разберёмся с тем, что отражает «точность» таких моделей. А также рассмотрим следующие метрики: - Inception Score (IS) - Fréchet inception distance (FID) - Precision/Recall Читайте новую статью по ссылке: https://www.notion.so/deepschool-pro/26acfe6403584cb0ac57be959d8a5c8d?pvs=4

Лекция по ускорению нейросетей во вторник в 18:00 МСК! Ранее мы рассказывали, почему в индустрии все чаще поднимается тема ускорения нейросетей: ➡️ становится больше веб-сервисов и приложений на девайсах ➡️ для первых надо улучшать latency и throughput ➡️ вторые ограничены в ресурсах и могут работать только с легкими и быстрыми моделями И чтобы помочь вам разобраться в этой теме, мы подготовили для вас лекцию-погружение в ускорение сетей. В этот вторник 20 февраля Саша Гончаренко, СТО стартапа enot.ai проведет онлайн-лекцию, на которой: — запрунит, квантанет и затюнит с дистилляцией MobileNet v2 — расскажет подробнее о каждом методе — споткнётся о сложности и научит их решать — объяснит, почему различается результат на разных вычислителях 🤔 — и представит программу курса «Ускорение нейросетей» Регистрируйтесь на лекцию по ссылке! 📚В канале ускорения Саша несколько раз упоминал, что ускорение надо начинать с фреймворка для инференса. Поэтому мы также подготовили туториал по использованию TensorRT и OpenVino. Он ждёт вас по ссылке! И до встречи 20 февраля в 18:00 МСК!

Сколько 💵 ускорение сетей экономит компаниям, надо ли в это погружаться инженеруи как выглядит инференс будущего Это и не только мы обсудим сегодня на прямом эфире в нашем канале по теме ускорения нейросетей Кто же расскажет об этом лучше Саши Гончаренко: - CTO стартапа по ускорению моделей enot.ai - автор статей, в том числе про low-power/precision вычисления - спикер конференций (NAS, трансформеры, инференс на смартфоне) - хэдлайнер нашего курса по ускорению 🗓 Сегодня в 15.30 по Мск мы проведём интервью с Александром Гончаренко, СТО ENOT.ai Мы обсудим: - сколько денег ускорение сетей экономит компаниям - может ли навык ускорения повысить оклад инженеру - где и почему важно ускорять сети - как будет выглядеть инференс будущего - что делать инженерам и командам: практические советы здесь и сейчас И еще парочка интересных историй без спойлеров. Переходите в канал ускорения и присоединяйтесь к нашему интервью! До встречи на прямом эфире!🔥

FastViT, Apple После небольшого, но всё же успеха MobileOne, ресёрчеры из Apple продолжили поиск моделей с лучшим балансом между скоростью работы и качеством. Весной 2023 года они представили FastViT — гибридный Computer Vision трансформер, который совмещает дизайн свёрточных сетей и обычного vision трансформера. В этой статье мы: - кратко вспомним ViT, первый успешный vision трансформер, а также структуру MobileOne блока, которая будет встречаться в дальнейшем - познакомимся с новым взглядом на строение трансформеров и узнаем, почему выбор token mixer не ограничивается Self-Attention - узнаем, как эффективно совместить дизайн свёрточных сетей и трансформера в одной архитектуре - посмотрим на результаты применения FastViT в downstream задачах Читайте нашу статью по ссылке: https://www.notion.so/deepschool-pro/FastVit-Apple-9aea903fdac14bdebb049b9b058aabdf?pvs=4

История YOLO. Часть 5 В комьюнити есть мнение: YOLOv5 отличается от YOLOv4 только тем, что она написана на торче вместо darknet’a. В новой статье мы продолжим изучать историю YOLO и разберемся, почему это не совсем так. А еще расскажем: - чем новая модель отличается от YOLOv4 и при чем тут Scaled YOLOv4 - какая реакция была на ее выход - и как авторы смогли сделать её такой популярной Читайте статью по ссылке: https://www.notion.so/deepschool-pro/YOLO-history-Part-5-4c18fe7d29b6432dbcc53d38e0c534ae?pvs=4

Как разобраться в ускорении нейросетей⚡️ Мы создали отдельный канал, посвященный теме ускорения нейросетей. В нем мы будем: — рассказывать про методы ускорения — приводить примеры из практики — делиться ошибками — проводить лекции и эфиры с экспертами в области Многие сталкивались с квантованием, дистилляцией, прунингом, конвертировали в ONNX, TRT, OpenVino, но мало кто понимает, как совмещать эти алгоритмы и инструменты. Структурированной информации в этом направлении мало: меняются архитектуры вычислителей, обновляются фреймворки и бэкенды — приходится экспериментировать самостоятельно, перебирая разные варианты. Мы решили помочь вам разобраться в ускорении моделей, в целевых вычислителях (CPU, GPU, NPU), в различных бэкендах (OpenVino, NNApi, TRT, etc), в запуске инференса на смартфонах и микрокомпьютерах. Поэтому мы создаем образовательную программу по ускорению CV-моделей. И создали канал, где погрузим вас в эту тему. Там вас уже ждёт пост с 3 советами для ускорения нейросетей👇 Канал про ускорение нейросетей

DINO/DINOv2 Благодаря успеху трансформеров в NLP появляется всё больше foundation models на базе этой архитектуры и в других доменах, например, в CV. Если трансформеры так хорошо предобучаются на неразмеченных корпусах текстов — почему бы не сделать это с картинками? Об этом и поговорим в нашей статье, а ещё расскажем: - почему предобучение vision-трансформеров лучше делать без разметки - чем хороши признаки vision-трансформеров, обученных с помощью DINO - в каких задачах можно применять предобученные таким способом модели Читайте новую статью по ссылке: https://deepschool-pro.notion.site/DINO-Self-distilation-with-no-labels-18e894250fae4e5d87e99a3312c1effd?pvs=4

Особенности 3D медицинских данных В медицине используется несколько форматов данных. Самые распространенные из них — рентген, компьютерная и магнитно-резонансная томография (КТ и МРТ). Рентген представляет собой привычное двумерное изображение с единственным каналом и отличным от 0-255 диапазоном значений. А КТ и МРТ мы получаем в трехмерном виде. В короткой статье мы познакомимся с последними поближе и узнаем: - как выглядят 3D медицинские данные - чем они отличаются от 2D данных - как измерять расстояния по трехмерному изображению в реальных миллиметрах Читайте статью по ссылке: https://www.notion.so/deepschool-pro/3D-a8d09fc0675d4235896750fd4c55beec?pvs=4

Методы ускорения сетей Мы написали статью, в которой собрали основные подходы к ускорению моделей⚡️ В ней познакомим вас с NAS, прунингом, дистилляцией и квантизацией. В статье рассказали: - в чем заключается каждый подход - зачем их использовать - советы по их применению - частный случай каждого подхода Мы привели примеры в основном для CV, но статья будет полезна для всех инженеров, так как подходы к ускорению могут быть использованы и в других направлениях. Материал поможет вам разобраться, какие существуют методы ускорения и как они связаны между собой. Читайте по ссылке И подписывайтесь на DeepSchool

Почему в 52% вакансий упоминают ускорение или конвертацию сетей Раньше, чтобы комфортно чувствовать себя на рынке DS, было достаточно уметь обучать нейросети и знать теорему байеса. Теперь же и навыком выката моделей в прод никого не удивишь. Но вот уметь делать этот “прод” быстрым — до сих пор редкий и востребованный навык. И вот 3 причины, почему в вакансиях его упоминают все чаще 1️⃣Экономия на железе С каждым 1% ускорения/облегчения модели, вы экономите 1% стоимости вычислительных ресурсов. Логика простая: чем быстрее сеть, тем раньше GPU возьмется за новый батч, а чем меньше весов, тем больше изображений в этот батч поместится. За счет ускорения модели, даже 1 сервис может начать экономить компании сотни долларов в день. Кстати, зачастую можно ускорить уже имеющуюся модель без потерь в точности. Например, за счет фьюзинга и конвертации или смены бэкенда. 2️⃣Realtime обработка видео В задачах AR/VR, нейрорендеринга, автономных роботах, контроле качества на производствах, безопасности на дорогах и других задачах анализа/синтеза видео важно принимать решения за миллисекунды. Автопилот должен управлять машиной на скорости выше 35 метров в секунду, конвейерная лента за это время уже переместит более 100 объектов, а глаз человека будет видеть плавную картинку в VR очках или в смартфоне только при 120 fps и выше. Все это накладывает очевидные ограничения на скорость инференса. Ведь помимо анализа изображения, системе еще и необходимо выполнить действие: сменить полосу, отбросить с ленты брак или отрисовать в очках объект — за очень короткий промежуток времени. 3️⃣Безопасность и скорость локального использования Если вы не слышали про GDPR, вы счастливый датасайентист. В СНГ пространстве нет столь жесткого контроля за персональными данными, как в западных странах. Но за хранение информации без разрешения или ее утечку, даже наши компании могут получить если не исполинский штраф, то общественное порицание и потерю репутации. Чтобы не рисковать, не смущать пользователей отправкой фото на сервер, и уменьшить время ожидания, модели помещают на мобильные устройства. А перед этим их необходимо облегчить и конвертировать в нужный формат (CoreML, TFLite, NNApi, etc), стараясь не потерять точность. А так как DL сервисов становится больше, сети встречаются на устройствах чаще, а про безопасность пользователей в последние годы все больше споров — навыки ускорения моделей становятся более востребованными. Ставьте реакции 🔥, если вам интересна эта тема и мы познакомим вас ближе с методами ускорения сетей! #заметки_deepschool

Основы основ обучения с подкреплением В последнее время появляется все больше впечатляющих работ: управление плазмой,сумасшедший паркур четырехногого робота и устойчивая двуногая ходьба. Все они основаны на обучении с подкреплением. Ему и посвящена наша новая серия постов. Вместе мы разберемся с основами этого процесса и уже в первой статье узнаем: - что такое обучение с подкреплением - как проходит само обучение - что такое пространство состояний и действий, траектории и вознаграждения - два основных подхода к обучению с подкреплением Читайте новую статью по ссылке: https://www.notion.so/deepschool-pro/df13838027b240bf903202731ab3b637?pvs=4

Как быстро освоить ускорение нейросетей Тренд на создание более точных моделей на ImageNet прошел еще пару лет назад. В последнее время все актуальнее создавать не просто точные модели, а точные и максимально быстрые. Быстрый инференс дает множество преимуществ: - экономия на железе - высокий fps в realtime задачах - новый опыт для пользователей, когда нейросети помещаются на девайс - безопасность локального использования - возможность держать большую нагрузку на сервис Навык ускорения (облегчения) моделей стал востребованным, и мы хотим помочь вам добавить его в свой арсенал. Поэтому мы готовим обучение, на котором вы сможете разобраться, какие есть методы ускорения, как они устроены и как их комбинировать на практике. Если вам интересно это направление, заполните короткую форму, чтобы помочь нам адаптировать программу под вас. Это займёт 3-5 минут https://forms.gle/ZnSX2tjHtRhhJ2fM9