DeepSchool

Как обучить текстовый эмбеддер на домен? Представьте: перед вами, как перед ML-инженером, стоит задача — нарастить качество в некотором сервисе. У вас есть доступ к текстовым данным в домене решаемой задачи, а аналитики собрали вам разметку. Вы взяли любимую BERT-like модель, которую всегда использовали, завели обучение и уже потираете руки в ожидании хорошей оценки на ревью, но… Качество на тесте не растёт. Вы крутите параметры, а ничего не помогает. Решить эту проблему вам поможет наша статья по обучению текстового эмбеддера под домен. В этой статье мы разберём последовательность действий, которую стоит предпринимать при обучении текстового эмбеддера на домен, узнаем, как обернуть специфику задачи вам на пользу и всё-таки нарастить конечное качество. Подробнее остановимся на этапе предобучения, рассмотрим RetroMAE, модификацию MLM для retrieval-моделей и контрастное обучение с InfoNCE, основной подход к улучшению семантики представлений в области. Читайте новую статью по ссылке 🪔DeepSchool

Скоро стартует курс «Ускорение нейросетей» Если вы сталкивались в работе с оптимизацией инференса и ускорением нейросетей, пробовали фреймворки вроде ONNX, TensorRT, OpenVINO, знаете про квантование, прунинг и дистилляцию, но при этом: — большинство решений приходится собирать на ощупь — гайды не работают на ваших моделях — не уверены, как сочетать методы без потери качества — возникают сложности при деплое на CPU, мобильные устройства или одноплатники Или если только начинаете погружаться в тему ускорения нейросетей и хотите в ней разобраться — тогда приходите на ближайший поток «Ускорения нейросетей», который стартует 11 июня! ⚡ На курсе вы научитесь: - ускорять нейросети, понимая теорию каждого алгоритма - комбинировать разные подходы: квантизацию, дистилляцию, прунинг - оптимизировать инференс, сохраняя точность - запускать сети на различных устройствах: как на GPU/CPU, так и на мобильных телефонах и одноплатниках - использовать особенности железа и фреймворков OpenVino, TensorRT, RKNN 👨‍🏫 Лекции ведут опытные инженеры, а хэдлайнер курса — Александр Гончаренко, CTO ENOT.аi, стартапа по ускорению нейросетей. 📅 Обучение начинается 11 июня и продлится 4 месяца. Изучайте подробности на сайте и записывайтесь в лист ожидания, чтобы первыми узнать подробности о курсе и получить самые большие скидки на обучение!

DeepSchool Digest⚡️ Собрали материалы за апрель в одном посте⬇️ ✔️Score Distillation Sampling в задаче text-to-3D - разбираем основную идею метода, а также, в каких ещё задачах применяется такой подход. ✔️Masked Image Modeling - знакомимся с одним из самых перспективных направлений SSL в Computer Vision — Masked Image Modeling и рассказываем, что это, как появилось и где стоит использовать. ✔️Сбор данных и разметка: как с нуля собрать хорошие данные под реальную задачу? - рассказываем, как меняется подход к разметке и что уже работает на практике. Плюс: советы, хаки и кейсы с цифрами. ✔️Из ML в разработку. Почему? Подкаст «Под Капотом» с Константином Носоревым - поговорили с Костей Носоревым, senior backend-разработчиком Yandex Pay и спикером курса «Деплой DL-сервисов», обсудили, почему Костя решил перейти в высоконагруженный backend из машинного обучения, почему исследовательский МЛ подходит далеко не всем и как общение с близкими людьми помогает принимать верные карьерные решения.

LLM-системы, которыереально работают Вчера на открытой лекции мы представили наш новый курс LLM Pro🎉 Это продвинутая программа для тех, кто уже работает с LLM и хочет решать сложные задачи! На обучении вы соберёте полноценные LLM-системы с учётом требований к качеству и нагрузке, разберёте сложные кейсы и дизайны NLP-решений: от кластеризации и эмбеддеров до сложных RAG-систем и агентов. В рамках курса вы научитесь: 🔹проектировать и запускать NLP-системы под реальные продуктовые задачи 🔹адаптировать LLM и эмбеддинги под специфичный домен и «живые» данные 🔹собирать и размечать датасеты — даже если данных изначально почти нет 🔹решать задачи классификации, поиска, кластеризации и NER — с ограничениями продакшн-среды 🔹собирать свою RAG-систему: от ретривера и реранкера до генератора и оценки качества 🔹строить AI-агентов с нуля — на основе сценариев, функций и взаимодействия с внешней средой Вы разберёте реальные кейсы и научитесь применять похожие подходы в своих проектах, получите фундамент для уверенного прохождения NLP system design интервью и перехода на следующий грейд. 🤖 Старт 22 мая, а до 21 мая для вас действует скидка 5% Переходите на сайт, изучайте подробности и присоединяйтесь к обучению! Пишите в нашу поддержку @deepschool_support, если остались вопросы! И до встречи на курсе!

Ванильный RAG не работает. Как исправить? RAG — один из самых популярных подходов для интеграции LLM в реальные продукты. Его выбирают, когда нужно давать точные, верифицируемые ответы на основе собственной базы знаний. Но на практике такие решения почти…

Ванильный RAG не работает. Как исправить? RAG — один из самых популярных подходов для интеграции LLM в реальные продукты. Его выбирают, когда нужно давать точные, верифицируемые ответы на основе собственной базы знаний. Но на практике такие решения почти никогда не работают «из коробки»: вместо полезных ответов — галлюцинации, поверхностные обобщения или просто тишина. Причин много: эмбеддер не улавливает смысл запроса, поиск не находит нужные документы, генератор не может извлечь то, чего нет в извлеченном контексте. А когда всё ломается — непонятно, с чего начать: тюнить эмбеддер? дообучать генератор? улучшать данные? В эту среду мы проведём открытую лекцию, на которой разберём, как в этой системе навести порядок: что действительно влияет на качество ответов, как выстроить пайплайн правильно и превратить RAG из хаотичного набора компонентов в надёжный рабочий инструмент. На лекции расскажем: - почему ванильная схема «ретривер + генератор» почти никогда не даёт нужного качества - с чего начинать улучшения: эмбеддер, поиск, реранкер, генератор, данные или что-то ещё - какие задачи приходится решать, чтобы RAG действительно работал - как из разрозненных компонент собрать надежный RAG-продукт Также на лекции мы представим курс LLM Pro — продвинутую программу, на которой вы научитесь строить системы, которые работают в реальном мире! А участникам лекции подарим скидки на обучение 🎁 📅 Лекция пройдёт 30 апреля в 18:00 МСК Регистрируйтесь по ссылке и до встречи на лекции в среду!

Как стать сильнее как CV-инженер Работая с CV-задачами, вы наверняка сталкивались с нестабильными данными, компромиссами между качеством и скоростью, ошибками разметки, сложными кейсами, в которых нет однозначного решения. Мы подготовили курс Computer Vision Rocket для практикующих инженеров, чтобы вы могли разобраться с такими задачами и освоить цикл создания и поддержки CV-моделей: от сбора данных до поиска ошибок и интерпретируемости. В рамках курса вы научитесь: 🔹готовить данные под реальные задачи: искать, размечать, синтезировать 🔹находить и устранять ошибки в данных и разметке, улучшать качество 🔹настраивать пайплайны metric learning и векторного поиска, включая построение индексов 🔹адаптировать детекторы, сегментаторы и OCR-системы под сложные кейсы 🔹диагностировать деградацию моделей и находить проблемы через интерпретируемость 🔹проектировать CV-систему целиком: от данных до поддержки Лекции проходят онлайн в Zoom, поэтому вы сможете задавать вопросы по ходу занятия. Вы узнаете про подходы и best pratices от senior-инженеров из разных доменов и компаний. Они проверят ваши домашние задания и дадут развёрнутый фидбек! CV Rocket цифрах: 4 месяца, 13 лекций, 13 заданий с фидбеком от опытных инженеров. 🗓 Начинаем 13 мая! 🔥 До 12 мая вы можете присоединиться к обучению со скидкой! Переходите по ссылке, изучайте подробности и записывайтесь на обучение! Если у вас есть вопросы, то пишите в нашу поддержку @deepschool_support, будем рады помочь. До встречи на курсе! 🎓

Жизнь CV-модели после релиза После релиза работа не заканчивается — и именно здесь начинаются реальные сложности. Как понять, что модель начала деградировать? Как построить поддержку, если в команде нет лишних рук? Как мониторить предсказания CV-модели? …

Сбор данных и разметка: как с нуля собрать хорошие данные под реальную ML-задачу? Хорошие данные — залог успеха. Но на практике это недели и месяцы разметки, потраченные ресурсы, спорные инструкции и баги. Хорошая новость: эти проблемы уже решаются — с помощью LLM, гибридных пайплайнов и продуманных процессов. В статье расскажем, как меняется подход к разметке и что уже работает на практике: - как использовать LLM в роли разметчика и быстро получить данные - где всё ещё нужен человек и зачем - как выстроить крауд-пайплайн, которому можно доверять Плюс: советы, хаки и кейсы с цифрами. Читайте подробнее по ссылке! 🪔DeepSchool

Жизнь CV-модели после релиза После релиза работа не заканчивается — и именно здесь начинаются реальные сложности. Как понять, что модель начала деградировать? Как построить поддержку, если в команде нет лишних рук? Как мониторить предсказания CV-модели? Мы подготовили открытую лекцию, на которой разберём, где и что может пойти не так после релиза, как это вовремя заметить, и что делать, если количество моделей растёт, а команда всё та же. На лекции расскажем: - как в реальности выглядит цикл жизни CV-модели - как выстраивать поддержку: что можно автоматизировать, а что — нет - как следить за качеством модели: дрифты, аутлаеры, шум, ключевые метрики - какие есть подходы для автоматизации мониторинга модели - и спроектируем возможное решение на примере реальной задачи А также представим программу курса CV Rocket и подарим скидки на обучение всем участникам лекции! Обо всём этом расскажут: — Анастасия Старобыховская — руководитель CV-направления НЛМК ИТ — Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer, KoronaPay 🗓 24 апреля, четверг, 18:00 МСК. Регистрируйтесь по ссылке — увидимся в четверг!

Из ML в разработку. Почему? Подкаст «Под Капотом» с Константином Носоревым Мы приглашаем в подкаст экспертов из различных областей, чтобы понять, как работают сложные системы изнутри. В новом выпуске подкаста поговорили с Костей Носоревым, senior backend-разработчиком Yandex Pay и спикером курса «Деплой DL-сервисов». Обсудили, почему Костя решил перейти в высоконагруженный backend из машинного обучения, почему исследовательский МЛ подходит далеко не всем и как общение с близкими людьми помогает принимать верные карьерные решения. Смотрите выпуск по ссылке: https://youtu.be/uYiSMOR0AB0?si=qnMTRP8zOcTi5wlp Новый поток курса «Деплой DL-сервисов» с участием Кости стартует в июле. Подробнее на нашем сайте!

⚡️Почти через месяц стартует курс Computer Vision Rocket Вы погрузитесь в продвинутый Computer Vision: от сложностей и корнер-кейсов в «обычных» задачах до мультимодальных моделей и дизайна CV-систем. А пока вы ожидаете, предлагаем прочитать подборку статей по CV! 1. Введение в OCR. Часть 1 2. Как избежать хаоса в разметке данных и улучшить качество ML-моделей 3. DINO: Self-distilation with no labels 4. Few-shot learning 5. Интерпретация моделей компьютерного зрения Изучайте статьи и записывайтесь в лист ожидания на курс, который стартует 13 мая