DeepSchool

Мы запустили свой блог!🎉 Теперь нет проблем с доступом из РФ, как в Notion, и все статьи собраны на одной странице. Можно найти нужные темы по рубрикам и авторам, а ещё — поддержать авторов, поставив лайки понравившимся статьям! 📌 Добавляйте страницу в закладки, чтобы всегда иметь под рукой нужные материалы и следить за новыми публикациями. ⚠️ Блог пока в бета-версии, и при переносе могли появиться ошибки. Если заметили баг — пишите нам в @deepschool_support! Тому, кто найдёт больше всех ошибок на этой неделе, отправим большую пиццу! 🍕 А новая статья уже ждёт вас внутри блога 👇

Почему DL-инженерам важно перенимать практики разработчиков в свои ML-пайплайны В видео сооснователь школы DeepSchool Тимур Фатыхов за 5 минут проходит по чек-листу актуальных инструментов и практик, которые помогают довести модель до пользователей, и рассказывает, как этому учат на курсе «Деплой DL-сервисов». Смотрите по ссылке! ⚡️Следующий поток курса стартует 19 марта. Присоединяйтесь!

📍Собрали в карточках цитаты из отзывов участников первого потока курса «Деплой DL-сервисов» Новый поток программы стартует уже 19 марта! ⚡️ До 18 марта для всех подписчиков канала действует скидка 5%. Полный текст отзывов, подробную информацию о курсе смотрите на нашем сайте!

Внедряем модель в production c использованием model-serving фреймворков Обучить нейросеть — часто лишь вершина айсберга. Ценность от модели появляется тогда, когда она начинает обслуживать реальных пользователей (при условии, что пользователи довольны и платят 😉). В этом посте мы поговорим о процессе внедрения нейронных сетей, а также о фреймворках сервинга — инструментах, которые значительно его упрощают. Мы узнаем: - какие аспекты нужно учитывать при проектировании приложения с DL-моделью - какие подходы можно использовать для эффективной обработки запросов к приложению - чем нам могут быть полезны model-serving фреймворки и из каких компонентов они состоят - как настроить и интегрировать Triton Inference Server Читайте новую статью по ссылке: https://blog.deepschool.ru/architecture/vnedryaem-model-c-ispolzovaniem-model-serving-frejmvorkov/ 🪔DeepSchool

DeepSchool Digest⚡ Вместе с командой авторов продолжаем готовить для вас новые материалы. Например, уже скоро обсудим интеграцию нейросетей в продакшн и фреймворки сервинга. А пока собрали подборку материалов, которые вышли с начала этого года, чтобы вы не упустили ничего интересного👇 ✔️Подкаст «Под Капотом». CV в медицине Обсудили с Александром Лекомцевым, Team Lead CV Engineer из oxytech.io, чем отличается медицинский CV от «обычного», сложности разметки данных, как найти общий язык с врачами и многое другое про CV в медицине. ✔️В чём же считать: fp8, fp32 или fp16 В каких типах данных крутить нейронку, чтобы сэкономить память и не потерять точность? В этой статье разобрались, как они работают, где их лучше применять, как учить, инференсить и с какими подводными камнями здесь можно столкнуться. ✔️Детекторы текста на основе трансформеров. Часть 2 Продолжаем знакомить вас с детекторами текста на основе трансформеров. В статье также рассматриваем MixNet, который лидирует в бенчмарках. ✔️Как ускоряют нейросети? В этом видео Саша Гончаренко, СТО стартапа enot.ai и хэдлайнер нашего курса «Ускорение нейросетей», рассказывает про основные подходы в ускорении нейросетей, их плюсы и минусы, а также затрагивает особенности ускорения LLM. ✔️DB: text detection Здесь мы поговорили о сегментации текста и разобрали архитектуру DB (Differentiable Binarization). ✔️RAG, или лучший друг достоверных генеративных ответов Как собирать поиск, что делать с генератором и за счет чего улучшать качество вашего бейзлайн-решения? В этой статье мы разобрали подход Retrieval Augmented Generation (RAG), в рамках которого ответ на пользовательский запрос генерируется с опорой на внешние документы. ✔️MoH: Multi-Head Attention as Mixture-of-Head Attention Mixture-of-Head Attention — апдейт архитектуры Multi-Head Attention, направленный на ускорение без потери точности. О её значимых улучшениях читайте в материале по ссылке⬆️

🚀Научитесь создавать и деплоить DL-сервисы Многие DL-инженеры знают, как готовить модели: выбрать архитектуру, лосс, на какие гиперпараметры обращать внимание и так далее. Но лишь малая часть использует инженерные практики при тренировке моделей или знает, как довести их до пользователей. Чтобы освоить эти инструменты, приходите на курс «Деплой DL-сервисов»! Старт 19 марта. 🔹Обучение подойдёт для DL-инженеров всех грейдов. 🔹После каждой лекции вас ждет домашнее задание для отработки новых знаний на практике. А в конце курса — проект, где можно применить все полученные навыки. 🔹Весь путь вы пройдёте при поддержке преподавателей: опытные инженеры будут ревьюить ваш код, отвечать на вопросы во время лекций, на дополнительных Q&A-сессиях и в чате. ⚡️До 18 марта для подписчиков DeepSchool действует скидка 5%! Подробнее о программе, спикерах, стоимости читайте на сайте. Если возникают вопросы, пишите нам в поддержку в Телеграм!

Apprise Очень часто нам нужно оперативно получать информацию о том, что происходит с сервером, программой или пайплайном. Но смотреть дашборды 24/7 — занятие, которое приносит мало удовольствия. В то же время, все мы ежедневно пользуемся мессенджерами и электронной почтой. Для решения этой проблемы на помощь приходит Apprise — универсальная библиотека для отправки уведомлений. С его помощью вы сможете быстро и удобно настроить доставку сообщений в любые привычные сервисы — от Telegram и Slack до электронной почты и SMS. Установка и настройка занимают минимум времени — достаточно добавить несколько строк кода. В новой статье мы подробно расскажем, как это можно сделать и интегрировать уведомления в ваш проект: https://deepschool-pro.notion.site/Apprise-1ab640e53434803391b9d2a46b6f9295?pvs=4

Ищем преподавателей, опытных инженеров в CV и NLP! 🔥 Мы готовим 2 advanced программы для практикующих CV- и NLP-инженеров и ищем спикеров лекций. В этих курсах мы будем учить студентов решать различные DL-задачи «с изюминкой», где «fit, predict» уже недостаточно. Например: — надо решить сегментацию, но на очень больших картинках — как лучше поделить изображение? как собрать результаты вместе? почему маски рваные и как этого избежать? — создаём агента для бизнеса, но он отказывается использовать функции, зацикливается и не выдает результат — как снизить число ошибок? на чем учить? как автоматически собирать данные? На эти вопросы ответят лекции курсов. Что мы даём преподавателям: — доступ к комьюнити школы и ко всем курсам школы: можно приходить на лекции, задавать вопросы, сдавать домашки и получать ревью — оплату за подготовку материалов — оплату за лекции и ревью заданий — научим создавать понятные интересные лекции — редактор поможет с текстами — а дизайнер нарисует красивую презентацию Что мы ждём от вас: — опыт в индустрии/ресёрче от 4 лет — опыт работы с темой лекции от 1 года Если вы готовы обучать других людей и помочь им повысить свою квалификацию, заполните, пожалуйста, анкету: Анкета на спикера CV-курса Анкета на спикера NLP-курса

Что происходит с моделью после обучения Мы уже говорили, что сегодня DL-инженеру недостаточно учить модели в Jupyter-тетрадках, чтобы соответствовать запросам индустрии. Важно уметь доводить их до пользователей. Чтобы ближе познакомить вас с этим процессом, мы подготовили открытую онлайн-лекцию, на которой покажем, как выглядит путь модели после обучения! Что вы узнаете на лекции: - когда стоит использовать Jupyter-ноутбуки, а когда нет - как подготовить репозиторий моделинга - варианты конвертации модели - как обернуть инференс в http-приложение - чем помогает Model Serving - как деплоят приложения и автоматизируют этот процесс Также мы расскажем о курсе, на котором вы сможете научиться самостоятельно создавать и деплоить DL-сервисы. Всем участникам лекции подарим скидки на обучение!🔥 🙋‍♂️Спикеры лекции: — Дмитрий Раков — руководитель ML в НИИАС, делает percpetion-алгоритмы для беспилотных поездов — Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer KoronaPay ⏰Дата и время: 6 марта, чт, 18:00 мск Регистрируйтесь по ссылке

MoH: Multi-Head Attention as Mixture-of-Head Attention Mixture-of-Head Attention — апдейт архитектуры Multi-Head Attention, направленный на ускорение без потери точности. Основная идея здесь — рассматривать attention heads как «экспертов» в Mixture-of-Experts. Это даёт возможность использовать не все головы, а выбирать самые подходящие под каждый токен. Архитектура Mixture-of-Head Attention (MoH) сохранила основную структуру Multi-Head Attention, но включила пару значимых улучшений: 1️⃣ замена обычного суммирования на взвешенное для лучшей адаптации набора голов под данные 2️⃣ добавление механизма выбора релевантных attention heads под каждый токен для снижения вычислительной нагрузки и ускорения инференса без изменения числа параметров При этом MoH не только работает быстрее и может заменить Multi-Head Attention в предобученной модели, но и позволяет дообучить модель с ним и получить бонус к качеству за счёт увеличения специализации atthention heads. Подробнее читайте в нашей статье: https://deepschool-pro.notion.site/MoH-Multi-Head-Attention-as-Mixture-of-Head-Attention-1a5640e53434803bb7e4f14df0b18e2e?pvs=4

⚡Уже в марте стартует новый поток курса «Деплой DL-сервисов» . Пока готовим новые материалы по этой теме, собрали несколько статей из нашего архива. Вдруг вы их пропустили: 1️⃣ClearML Data Management Разбираем инструмент, который подходит для версионирования данных и не только. 2️⃣ ClearML Session Изучаем работу на удалённом сервере и настройку рабочего места с использованием ClearML Session. 3️⃣Полезные Linux-команды Рассказываем о Linux-командах, которые позволят упростить работу Data Scientist'а. 4️⃣Pre-commit git-хуки Коротко говорим про git-хуки и смотрим пару примеров.

Научитесь правильно использовать LLM LLM — капризны: они галлюцинируют, игнорируют факты, не следуют инструкциям. Их можно дообучать, дополнять знания через RAG, хитро промптить — но в каждом из этих методов есть нюансы. А когда всё заработает, встанет новая задача — как выдержать нагрузку и не разориться на железе. Если хотите разобраться, как создавать рабочие решения и доводить их до пользователей, приходите на курс Large Language Models. Наши спикеры работали и в бигтехах, и в стартапах, и в научных лабораториях. Создавали нагруженные сервисы и популярные библиотеки, которыми вы скорее всего пользовались. Вместе с ними на программе вы узнаете: 🔹 как выбрать модель для проекта и чем они отличаются 🔹 как уменьшить галюцинации и отхождения от инструкций 🔹 как сделать RAG, который наконец начнёт работать 🔹 как дообучать и сервить LLM, чтобы не разориться 🔹 как деплоить большие модели 🔹 и как эти модели устроены, как эволюционировали Курс вам подойдёт и если вы только знакомитесь с LLM, и если уже работаете с ними ✨ 📆 Начало — 26 февраля, продолжительность — 4 месяца. ⚠️ Осталось 18 мест из 60. Успевайте присоединиться к обучению! Читайте подробности о программе, формате и спикерах на сайте. И записывайтесь на курс со скидкой 5%, которая действует до 25 февраля 🔥 Если возникают вопросы или трудности, то пишите нам @deepschool_support! До встречи на курсе!