DeepSchool

ONNX с секретом Эта «модель» хранит в себе секрет: если в неё подать что-то очень определённое, то она ответит строчкой, которую ни с чем не перепутаешь. Кто первый разгадает загадку модели и приложит секретную строчку в комментарии — получит пиццу 🍕 Ответы принимаются под этим постом до 3 августа 16:00 МСК. Потом мы выложим правильное решение. Ждём ваши ответы в комментариях!👇

Ускоряем LLM на раз, два, три Иметь личного ассистента на ноуте и запускать мощную модель локально — хорошо. Тратить огромные ресурсы на это — уже не очень. В новой статье разбираем ключевые методы ускорения и обсуждаем, что действительно работает: — фреймворки для инференса — какой выбрать, чтобы выжать максимум — спекулятивное декодирование — почему это must-have для скорости — квантование — как правильно применять и почему оно превратилось в «народный» метод ускорения А ещё в статье мы вспоминаем базу — Flash-Attention, технологию, которая помогла развить популяризацию LLM в целом 🚀 Читайте по ссылке!

Что изучать, чтобы разобраться в LLMи сделать свой проект? ❌ Потратить много времени на изучение противоречащих гайдов и статей, в итоге собрать несколько баговых версий. ✅ Прийти учиться к нам на LLM Start, избежать ошибок и сделать свой первый работающий проект вместе с опытными DL-инженерами! LLM Start — это программа для инженеров без опыта в Deep Learning, на которой вы за 8 недель: - разберётесь в моделях и научитесь выбирать нужную под задачу - сможете обучать модели на своих данных, чтобы модель отвечала в нужном стиле и разбиралась в вашей области - научитесь создавать RAG-системы из готовых модулей - построите рабочего LLM-агента для вашей задачи Программу ведут практикующие DL-инженеры. Они отвечают на вопросы во время онлайн-лекций, QA-сессий и в чате, проверяют домашки и дают развёрнутый фидбек. В конце курса вы напишете свой собственный LLM-сервис. Можно будет реализовать свою идею, выбрать проект из предложенных или принести его с работы. Спикеры курса сделают ревью, ответят на вопросы и помогут при его реализации. 🔔 Обучение начинается 30 июля. А до 29 июля вы можете присоединиться к обучению со скидкой 5%! ⚠️ Для старта вы должны быть знакомы с Linux и Python, уметь читать и писать функции и классы. Переходите по ссылке, чтобы успеть записаться! Если остались вопросы — напишите в нашу поддержку @deepschool_support Присоединяйтесь к обучению и создавайте работающие LLM-продукты!

3D CV, diffusion models и получение PhD | Подкаст «Под Капотом» c Олей Гребеньковой Гость этого выпуска Оля Гребенькова. Оля получает PhD в LMU, где применяет генеративные модели к 3D-данным, а также спикер курса «3D-CV» в DeepSchool. В этом выпуске мы обсуждаем: - как попасть в лабораторию, где создали Stable Diffusion - процесс исследований в лаборатории компьютерного зрения - зачем заниматься нехайповыми темами в AI - как не выгореть в академии Смотрите выпуск по ссылке: https://youtu.be/YgLYSsQOE0E?si=lHQ2aKZDd-aiOAw_ 🪔DeepSchool

4 подхода к созданию LLM-приложений Если вы пытались собрать сервис на базе LLM: RAG для корпоративного репозитория, MVP для стартапа или бот для личных задач — наверняка столкнулись с тем, что всё работает не так, как задумывалось. Модель галлюцинирует или отвечает в неподходящем стиле, промпты не помогают, RAG не находит релевантные данные, агенты игнорируют инструкции — и непонятно, надо ли дообучать LLM или стоит попробовать другую модель, но как выбрать? В этот четверг мы проведём открытую лекцию, на которой расскажем об ошибках создания LLM-систем, как их решать и как собрать сервис, за который не стыдно. На лекции вы узнаете про: - 4 базовых блока LLM-проекта — из чего собираются 99% приложений - когда достаточно open-source LLM, а когда не обойтись без коммерческой - как навести порядок в RAG: чанки, поиск, антигаллюцинации - как работают агенты и их реальные сценарии применения - файнтюнинг: когда простого промпта недостаточно, как адаптировать модель под свою задачу и когда это нужно А в конце представим наш новый курс — LLM Start, на котором инженеры без опыта в DL научатся создавать свои первые LLM-приложения под кураторством опытных инженеров. Всем участникам лекции подарим скидки на обучение, поэтому не пропустите! 🎁 🙋‍♂️ Вести лекцию будет Илья Димов, Senior NLP-инженер, который занимается обучением Multimodal LLM. 🔔 Встречаемся в четверг, 24 июля, в 19:00 МСК. Регистрируйтесь по ссылке и приходите в четверг вечером!

Соберите первый LLM-прототип за 30 минут Для разработки приложений с LLM важно освоить три ключевых навыка: дообучение модели на своих данных, подключение внешней базы (RAG), подключение к LLM сторонних инструментов. Мы подготовили мини-курс, в котором за 4 коротких лекции вы узнаете, как создать работающее LLM-based приложение с агентом и долговременной памятью. На лекциях мы рассказали: - что важно, чтобы собрать первое приложение с LLM - как выгодно использовать open-source модели и чем они отличаются от коммерческих - из каких частей состоит RAG и как его можно улучшить - как собрать первого агента с памятью и базой данных за 30 минут Это мини-курс для разработчиков и it-специалистов без опыта в DL. Но мы рекомендуем посмотреть его и ML/DL-инженерам, чтобы узнать, как быстро собрать проект с LLM. Переходите в бот и смотрите лекции!

RAG — от первой версии к рабочему решению RAG кажется простой идеей: берём вопрос пользователя, находим нужную информацию в базе и просим LLM сгенерировать ответ. Однако на практике первая реализация часто разочаровывает. Почему так происходит? В новой статье пошагово разбираем каждый компонент RAG-системы, объясняем типичные ошибки и даём план действий по улучшению ванильной версии: — как разбивать данные на чанки — что влияет на качество эмбеддингов и как выбрать модель — зачем нужен реранкер и можно ли без него обойтись — когда достаточно модели «из коробки» и как понять, нужно ли её дообучать Статья будет особенно полезна новичкам, кто только начинает работать с RAG. Читайте по ссылке! 🪔И подписывайтесь на DeepSchool

DeepSchool Digest⚡ По традиции собрали для вас материалы за июнь в одном посте: ✔️How to: детектор лиц на Android — c Дмитрием Гординым показали, как запустить детектор лиц на Android, используя только C++, OpenCV и NCNN. ✔️Данные важнее моделей? Подкаст «Под Капотом» c Дарьей Воронкиной — поговорили с Дарьей Воронкиной — тимлидом в медицинском стартапе OneCell.ai и спикером курса «Computer Vision Rocket». ✔️Как LLM научились видеть? — рассказали, какие подходы научили LLM понимать изображения и 3D-сцены. ✔️Кто за рулём?! Трансформер — разобрали одну из ключевых задач — планирование движения, где на первый план выходит архитектура-трансформер. ✔️Как LLM научились слышать? — поговорили о добавлении в LLM новой модальности — аудио. От идеи представления звука мел-спектрограммой до генерации музыки по текстовому описанию. 🔥 Запустили канал, в котором каждую неделю меняется автор. Каждую неделю: новый человек, новая область и домен, новые истории, наблюдения и рекомендации. Заходите в @deepschool_underthehood

Как LLM научились слышать? В одной из предыдущих статей мы разобрали, какие подходы научили LLM понимать изображения и 3D-сцены. В новой статье мы поговорим о добавлении в LLM новой модальности — аудио. От идеи представления звука мел-спектрограммой до генерации музыки по текстовому описанию. Абонусомстанет краткий разбор анализа видео с помощью LLM — задачи, где нужно синхронизировать визуальные и аудиодорожки. Читайте новую статью по ссылке!

Новый формат в новом канале В нашей школе преподаёт и учится много крутых инженеров с разной карьерой, интересами и опытом. Кто-то оптимизирует нейросети под мобилку, кто-то делает SLAM для автономных автомобилей, а кто-то занимается мультимодальными LLM . Для кого-то работа — написать статью, для кого-то — управлять краудом и собрать датасет, для кого-то — провести тысячу экспериментов, а для кого-то — вывести модель на пользователей и держать нагрузку. У каждого уникальные истории из опыта, свои радости и боли от работы, любимые книги и статьи. И мемы. Поэтому мы запускаем новый формат, где инженеры из нашей школы расскажут о себе. Этот формат будет жить в отдельном телеграмм-канале. Каждую неделю ведущим канала становится один из инженеров. Каждую неделю: новый человек, новая область и домен, новые истории, наблюдения и рекомендации. Первым ведущим будет Давид Свитов. Давид — CV-инженер и исследователь. Долго работал в индустрии, а затем перешёл в академию. Сейчас получает второе PhD в Италии в PAVIS@IIT: занимается 3D-аватарами, представлениями 3D-сцен и трёхмерной графикой. Люди в индустрии на лето планируют отпуск, а учёные — летние школы. Давид на этой неделе будет аж на двух: в Сицилии и Китае. Будет делиться интересным оттуда. Переходите в канал знакомиться с Давидом! @deepschool_underthehood

Кто за рулём?! Трансформер Автономные автомобили — технология, в которой множество задач на уровне как софта, так и железа. В новой статье разбираем одну из ключевых задач — планирование движения, где на первый план выходит архитектура-трансформер. Вы узнаете: - какие существуют подходы к проектированию автономных автомобилей, их преимущества и недостатки - как трансформеры обрабатывают дорожные сцены и предсказывают траектории - какие ловушки подстерегают ML-планировщики — от «эффекта подражателя» до физической нереализуемости Читайте статью по ссылке!

Как LLM научились видеть? Когда-то LLMs работали только с текстом и не обрабатывали входные данные других модальностей: изображения, видео и аудио. Но благодаря прогрессу архитектур и подходов к обучению сегодня они превратились в полноценные мультимодальные системы. В новой статье рассказываем, какие подходы научили LLM понимать изображения и 3D-сцены. Читайте новую статью по ссылке!