DeepSchool

Почти на каждом собеседовании спрашивают про ускорение нейросетей Этим делятся выпускники первого потока курса «Ускорение нейросетей». Например, Иван рассказывает, что знания с курса помогают на интервью, где часто задают вопросы про библиотеки для инференса, потенциал методов ускорения и возможные проблемы в подобных задачах. На эти вопросы как раз отвечает первый блок нашей программы, в котором вы освоите фундамент: алгоритмы ускорения, устройство CPU, GPU, NPU и фреймворки для них. Знания из курса помогут не только ускорить модели в ваших проектах, но и поднять метрики. Например, Елизавета повысила качество модели, применив знания из лекции по дистилляции. Также мы подготовили опциональные блоки лекций «NLP» и «Devices» — для тех, кто работает с LLM и тех, кто запускает модели на Android, iOS и микрокомпьютерах. Можно выбрать нужные вам блоки лекций. Переходите на сайт, изучайте подробности, выбирайте тариф и записывайтесь на обучение! Завтра пройдёт первая лекция по дистилляции, на которой Саша Гончаренко, хэдлайнер программы, расскажет про метод улучшения точности нейросети и как его использовать для ускорения. А сегодня вы можете присоединиться со скидкой до 12%🔥 Оставляйте заявку на сайте, чтобы зафиксировать за собой скидку до старта программы. До встречи на лекциях!⚡️

InstaFlow Диффузионные модели сегодня — популярный инструмент генерации. У них отличное качество и высокая вариативность, однако они имеют серьёзный недостаток — скорость работы. В этом посте мы познакомимся с работой InstaFlow и узнаем, как с помощью ректифицированных потоков и дистилляции из предобученной диффузионной text2image модели получить качественный генератор за несколько шагов. А также обсудим: - диффузию и её связь со стохастическими дифференциальными уравнениями - основную идею flow matching и rectified flow - и, конечно, модель InstaFlow Читайте новую статью по ссылке: https://deepschool-pro.notion.site/InstaFlow-50942b7dcc5448bab4c47870228afc82?pvs=4

Научитесь оптимизировать инференс нейросетей Если вы сталкивались с задачей ускорения нейросетей, но всё не могли найти время разобраться поглубже во всех этих квантованиях, прунингах, дистилляции, TensorRT, OpenVINO и прочих баззвордах, приходите на наш курс «Ускорение нейросетей»! Мы объясним, как устроены эти алгоритмы и фреймворки и научим использовать их в работе. Программа курса разделена на 3 блока: 1️⃣ База — вы освоите подходы, которые являются общими для большинства задач. Это база! Разберетесь с алгоритмами: прунингом, дистилляцией, квантованием, матричными разложениями, архитектурным поиском — и устройством девайсов: CPU, GPU, NPU — и фреймворками для каждого. 2️⃣ NLP — блок для тех, кто работает с LLM. Вы изучите популярные и рабочие методы для ускорения небольших и крупных языковых моделей. 3️⃣Devices — научитесь запускать нейросети на Android, iOS и микрокомпьютерах с учетом их особенностей. Вы можете изучить только Базу, а при желании можете углубиться в определенный домен — можно выбрать любой подходящий вариант🧩 🗓Обучение начинается 24 июля и длится 19 недель. Лекции ведут опытные инженеры, каждый из которых несколько лет занимается той темой, которую преподаёт на курсе. Спикеры будут поддерживать вас на протяжении всего обучения, а также вы сможете прийти к ним с вопросами по вашей работы. ⚡️Присоединяйтесь к обучению со скидкой до 23 июля! Подробнее о программе, спикерах, тарифах и скидках читайте на сайте программы. Выбирайте подходящий тариф и присоединяйтесь к обучению!🎓 Если у вас возникают вопросы или трудности, то пишите нам в поддержку в Телеграм.

Ускорение нейросетей на практике Ускорение — важный навык в DL-индустрии: - растёт потребность инференса нейросетей на смартфонах и edge-устройствах - DL-сервисов становится больше - растёт и нагрузка на эти сервисы - всё чаще приходится работать с LLM,…

Квиз по ускорению нейросетей! Нужно сопоставить левый и правый столбец друг с другом: 1️⃣0️⃣🔤🔤🔤🔤 1️⃣🔤🔤🔤🔤 1️⃣1️⃣🔤❓❓❓ Чтобы узнать ответ, смотрите наше новое видео на youtube!

Ускорение нейросетей на практике Ускорение — важный навык в DL-индустрии: - растёт потребность инференса нейросетей на смартфонах и edge-устройствах - DL-сервисов становится больше - растёт и нагрузка на эти сервисы - всё чаще приходится работать с LLM, которые довольно требовательны к ресурсам - и в целом, чем быстрее ваши модели, тем лучше и вам, и вашим пользователям Мы подготовили лекцию по ускорению сетей, чтобы вы узнали, какие методы ускорения существуют и смогли задать свои вопросы. 🗓 18 июля, четверг, 18:00 МСК. Саша Гончаренко, СТО стартапа enot.ai, проведёт онлайн-лекцию, на которой: — применит прунинг, квантование и дистилляцию для ускорения нейросети — подробно объяснит каждый метод — рассмотрит возникающие сложности и способы их решения — объяснит, почему различается результат на разных вычислителях 🤔 — расскажет о вызовах в ускорении LLM — и представит обновлённую программу курса «Ускорение нейросетей» Регистрируйтесь на лекцию по ссылке! 🎁После регистрации вы получите туториал по использованию TensorRT и OpenVino. До встречи 18 июля в 18:00 МСК!⚡️

«PyTorch is all you need»? Чаще всего для обучения нейросетей применяются видеокарты от Nvidia — они поддерживают технологию CUDA. Но появляется следующее поколение видеокарт, и растут требования к вычислительным ресурсам, поэтому старые карты начинают использоваться для инференса. Но если не задумываться об эффективном запуске обученной модели, мощности таких карт скоро может не хватить. В этой статье мы: - рассмотрим альтернативы PyTorch для инференса моделей, которые имеют дело с production - поймём, как выжать максимум производительности даже из старых видеокарт - обсудим тонкости и неочевидные моменты фреймворка TensorRT Читайте новую статью по ссылке: https://deepschool-pro.notion.site/Is-PyTorch-all-you-need-cc869aa5076641e087172f1a579cd0b6?pvs=74

RT-DETR В 2020 году DETR совершил мини-революцию в Computer Vision и показал, как использовать трансформеры в сложных задачах, например, при детекции объектов. Авторы изменили классический пайплайн CNN-детекции, сделав его более прямолинейным: без анкоров и NMS. Но это решение не имело широкого применения из-за довольно ощутимых недостатков. Исправить их вызвалась команда исследователей из Baidu, и уже в 2023 году вышел в свет детектор RT-DETR 🙂 В новой статье мы рассмотрим: - основные недостатки DETR - возможности его ускорения без значительного снижения точности - совмещение достоинств SOTA real-time детекторов семейства YOLO и оригинального DETR Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/RT-DETR-f64ed4a11532418fbbfe12cc7fa2bf56?pvs=4

Введение в квантование LLM Инференс современных LLM на потребительских видеокартах невозможен без квантования. В новой статье мы обсудим два основных метода квантования, которые можно считать надёжными базовыми подходами. В статье рассказали: - как 1% весов могут испортить всё - почему обычное округление — не лучший вариант - зачем нужны случайные ортогональные матрицы в квантовании Читайте по ссылке! И подписывайтесь на DeepSchool

В фрагменте лекции из прошлого потока CVRocket Андрей Шадриков рассказал про фишки ClearML для трекинга экспериментов. А уже сегодня пройдёт первая лекция 8-го потока, где Андрей объяснит, как навести порядок в экспериментах, чтобы: - конфигурировать эксперименты - легко передавать репозиторий коллегам - версионировать модели и данные - быстро сравнивать эксперименты Вы ещё успеваете присоединиться к этому потоку и освоить полный цикл решения CV-задач! Переходите на сайт, запрыгивайте в последний вагон и становитесь частью комьюнити опытных инженеров🚀

Мы уже начали, подключайтесь по ссылке!