DeepSchool

Лекция по быстрым механизмам внимания в это воскресенье Главное препятствие на пути к быстрым трансформерам — квадратичный attention. В базовом варианте трансформеры довольно прожорливые как по времени, так и по памяти. Поэтому инженеры ищут способы ускорить…

Лекция по быстрым механизмам внимания в это воскресенье Главное препятствие на пути к быстрым трансформерам — квадратичный attention. В базовом варианте трансформеры довольно прожорливые как по времени, так и по памяти. Поэтому инженеры ищут способы ускорить attention. О некоторых из них мы расскажем на лекции в воскресенье. Обсудим быстрые механизмы внимания с точки зрения простых инженерных решений. Без математики тоже не обойдётся, но объясним всё простым языком и ответим на все вопросы, которые возникнут. Лекцию проведёт Саша Гончаренко: - CTO стартапа по ускорению моделей enot.ai - автор статей, в том числе про low-power/precision вычисления - спикер конференций (NAS,трансформеры,инференс на смартфоне) - хэдлайнер нашего курса по ускорению Саша расскажет про: - Group Query Attention — сделаем KV-кеш поменьше. - Pattern Attention — простой способ сократить вычисления с помощью паттерна - Linear Attention — ряд Тейлора is all you need 🗓Приходите 7 июля в 14:00 МСК! Ссылку на трансляцию выложим в воскресенье. Ставьте реакции, кто придёт 🔥 Пишите в комментариях свои вопросы — постараемся ответить на лекции! До встречи в эфире!⚡️

Новости по ускорению нейросетей Наша команда готовит новый поток курса Ускорение нейросетей. Мы обновили программу, и теперь вы сможете выбрать то, что вам наиболее актуально (даже NLP🤫). Ещё у нас на подходе ряд статей, например, в конце недели расскажем про методы ускорения LLM✨ А сейчас можете прочесть статьи, которые мы писали ранее: 1. Основные подходы и методы ускорения — читать 2. Советы по ускорению, которые упростят ваше погружение в тему — читать 3. Как ускоряют сети для автономных устройств — читать 4. На что обратить внимание при оптимизации инференса — читать 5. Ускорение в задаче Speech2Text на примере Whisper от OpenAI — читать ⚡️Если хотите разобраться в теории и на практике научиться оптимизировать инференс, то приходите на наш курс. До 12 июля вы можете присоединиться к обучению со скидкой 29%. Для этого переходите на сайт и записывайтесь в лист ожидания. Мы свяжемся с вами, представим программу и подарим скидку на обучение.

Ни за что не версионируйте данные современными инструментами. Можно под каждую версию руками заводить новую папку. У вас быстро закончится место на компьютере и вам купят ещё один. Повышайте свою капитализацию, а не капитализацию компании. С нами всё в порядке 🙃 Мы просто затеяли рубрику «Вредные советы» на YouTube. Смотрите по ссылке!

Добавляем контроль к диффузии Диффузионные модели — мощный инструмент для решения генеративных задач со сложной структурой доменных данных. Большинство таких моделей генерируют или редактируют изображения по текстовому описанию. Но часто для нужного результата одного текста бывает недостаточно. Поэтому сообщество разработало подходы, расширяющие возможности работы моделей с другими видами условий. Более того, часть из них не требует полного переобучения модели с нуля. В новой статье мы рассмотрим: - виды дополнительных условий для генерации диффузионных моделей - способы их добавления в диффузионную модель - правильную инициализацию весов в их сходимости Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/4cf54592070c4ab4b5ed673a242267d6?pvs=4

Подготовьтесь к собеседованию в безопасной обстановке—мок-интервью для CV-инженеров Собеседование может быть испытанием даже для опытного инженера. Можно скомканно рассказать про свой опыт, делать акценты не на тех вещах или переволноваться и поплыть на чём-то совсем простом. Может не хватить технических знаний, а может не хватить навыков эти знания «продавать». Поэтому часто на вопрос «как подготовиться к собеседованию?» можно услышать ответ — начать ходить на собеседования 😉 Чтобы помочь вам подготовиться к этим вызовам, мы запускаем формат мок-интервью — тренировочные собеседования в комфортной атмосфере, где вы сможете заранее выявить и проработать свои слабые места. На мок-интервью вы: 🔹потренируетесь в безопасной среде, где не страшно ошибаться 🔹получите развёрнутый фидбек от опытного инженера 🔹узнаете вопросы, которые собеседующий задаёт на настоящих интервью 🔹получите запись и файл с рекомендациями Приходите на мок-интервью и подготовьтесь к собеседованию в безопасной обстановке! Переходите на сайт, изучайте подробности и оставляйте заявку. Мы свяжемся с вами, подберём удобное время и уточним ваши пожелания: желаемый грейд, область и тип интервью. 🎉В честь запуска нового формата мы дарим вам скидку 52% до конца июля.

CLIP4STR Мультимодальные модели прочно входят в современные практические пайплайны многих решений на базе LLM. В области OCR их появление было ожидаемым: такие модели при обучении применяют не только картинки, но и текст. А если речь заходит об одновременном использовании картиночных и текстовых фичей — в обязательном порядке появляется CLIP. В этой статье мы: - узнаем, как можно использовать CLIP для задачи OCR - разберём архитектуру новой SOTA для распознавания текста - и ещё раз убедимся, что мультимодальность — сила Читайте нашу статью по ссылке: https://deepschool-pro.notion.site/CLIP4STR-2f451ad6ab8c4041a11b426049edcd53?pvs=4

Научитесь решать end-to-end задачи в CV Если вы хотите закрыть пробелы в решении Computer Vision задач и освоить весь путь создания DL-проектов: от сбора данных до деплоя веб-сервисов — приходите учиться на программу CV Rocket, которая стартует 4 июля. После обучения вы повысите свою ценность на рынке, улучшите процессы в команде и научитесь решать полный цикл CV-задач: 🔹собирать чистые данные 🔹быстрее обучать модели 🔹ускорять нейросети 🔹создавать веб-сервисы 🔹автоматизировать их деплой 🔹настраивать мониторинг приложений 🔹решать задачи распознавания лиц, текстов, генерации и многое другое Что особенного в нашей программе: 🔸12 спикеров из разных отраслей и компаний 🔸много фидбека и общения со спикерами: на zoom-лекциях, в рамках code review, на семинарах и в чате 🔸сложные задачи: 2 больших end-to-end проекта, которые с гордостью можно добавить в резюме Курс длится 5 месяцев. Присоединяйтесь к обучению со скидкой 10.000 ₽ до 30 июня! Или вы можете внести предоплату и зафиксировать за собой скидку и место на курсе до 7 июля. Подробнее о программе и спикерах читайте на сайте. Если у вас возникают вопросы или трудности, то пишите нам в поддержку в Телеграм. До встречи на лекциях!🚀

Мы ищем преподавателей! Если у вас 3+ года опыта в индустрии, вы хотите пообщаться с другими практикующими инженерами, вместе поработать и перенять опыт, присоединяйтесь к нашей команде! Мы ищем преподавателей на 2 курса: — Ускорение нейросетей — LLM 1️⃣ Ускорение нейросетей Мы изменили программу и ищем 2-ух спикеров, кто знаком с запуском сетей на IOS и Android. Если у вас есть такой опыт, заполните, пожалуйста, эту форму 2️⃣ LLM Летом мы анонсируем новый курс по большим языковым моделям, а пока расширяем команду преподавателей. Если вы работали с LLM, заполните, пожалуйста эту форму Что мы даём: — доступ ко всем курсам школы: можно приходить на лекции, задавать вопросы, сдавать домашки и получать ревью — оплату за подготовку материалов — оплату за лекции и ревью заданий — редактор поможет с текстами — а дизайнер нарисует красивую презентацию Что мы ждём от вас: — опыт в индустрии/ресёрче от 3 лет — опыт работы с темой лекции от 1 года Форма для преподавателей по запуску сетей на IOS или Android Форма для преподавателей по LLM

Инструменты современного DS-инженера Мы часто говорим, что сейчас DL-инженерам недостаточно просто учить модели, чтобы оставаться актуальным. Важно перенимать инструменты и навыки от разработчиков — этого требует рынок. Ведь мы тоже пишем код, правим бизнес-логику, снижаем bus factor и хотим, чтобы в проектах не было багов. Чтобы помочь в этих задачах и упростить нашу жизнь, есть множество инструментов. И мы хотим познакомить вас с пятеркой самых важных. Поэтому в этот четверг, 20 июня, проведём открытую лекцию «5 инструментов эффективного DS-инженера» На лекции обсудим: 1️⃣ как сделать эксперименты воспроизводимыми - версионирование данных, кода и моделей - управление зависимостями 2️⃣ инструменты, которые повысят качество кода - линтеры и тесты - Continuous Integration 3️⃣ как упростить свою работу - lightning - трекинг и визуализация в CML А также представим программу курса “Computer Vision Rocket” и подарим скидки на обучение!🔥 🙋‍♂️Спикеры лекции: - Егор Осинкин — Lead CV Engineer в EPAM, спикер курса CV Rocket - Тимур Фатыхов — ex Lead CV Engineer в Koronapay, основатель DeepSchool Регистрируйтесь по ссылке! После регистрации мы пришлем вам список полезных библиотек и сервисов для CV-инженеров!🎁 Также в телеграм-боте будет краткий анализ CV-вакансий, где мы изучили, как менялись зарплаты, как они зависят от требований и от грейдов. Зарегистрироваться

Cимметрия в нейронных сетях Симметрия используется повсюду. Например, в естественных науках симметрия — мощнейший математический инструмент, который позволяет значительно упрощать расчеты, учитывая при этом суть задачи. В этой статье мы: - познакомимся с теорией групп — универсальным языком симметрии - поймём, почему при проектировке нейронных сетей нужно учитывать симметрию - научимся строить нейронные сети, учитывающие симметрию Читайте новую статью по ссылке: https://deepschool-pro.notion.site/C-b3d62057b07e4a09bd2ce3dc40b31451?pvs=4

«Релиз на салфетке». Строим CV-кормушку для белок🐿 В этом шоу мы собираемся командой инженеров, выбираем забавную задачу, брейнштормим, строим велосипеды и космолёты 🚀 Как будто решаем продуктовую задачу, но без сроков, рамок и коммитментов. А от того веселее 😉 В первом выпуске мы со спикерами CV Rocket решали беличьи проблемы. Оказывается, если насыпать в кормушку орехов для белки, то может прилететь синица, взять орех и в полёте его выкинуть. А белке ничего не достанется. Синиц мы хотим кормить крупой, а белок спасти от такой несправедливости. 💡Мы выяснили, что если запереть трёх инженеров в Zoom-е и попросить их оторваться на забавной задаче, то через час они начнут разгонять про SSL, беличьи FaceID, векторные базы, алёртинги, foundation-модели, дистилляцию и прочий active learning. Смотрите выпуск на Youtube и пишите комментарии!