DeepSchool

​​Саша Гончаренко В предыдущих постах мы начали знакомство с нашими авторами (о себе уже рассказали Ксюша и Марк), а в этот раз о себе расскажет Саша: "В старших классах я знал, что хочу быть программистом, и поэтому пошел учиться в Омский политех. Правда, я совершил большую ошибку и заключил целевое с заводом) На первой практике, на вопрос куратора “чем хочешь заниматься” — я ляпнул первое, что пришло в голову: “делать искусственный интеллект”. Так и начался мой путь Помню, как столкнулся с первой проблемой: не мог установить numpy🙃 Тщетно пытался поставить его на машину несколько дней, и на этом моя история в ML чуть было не закончилась) Но спустя год я прошел курсы по машинному обучению от компании 7bits, понял что такое ML и смог его полюбить. В конце обучения мы проходили "игрушечные" собеседования с инженерами из разных компаний, где я уже и познакомился со своим нынешним тимлидом. Мне так понравилась встреча, что я решил изучить компанию и наткнулся на вакансию. С мыслями: ”что я теряю?” — отправил резюме и спустя месяц начался мой первый рабочий день в Deeplay! Проработав месяц, я понял, что на завод возвращаться не хочу и расторг целевое. Начал совмещать фултайм работу с учебой (было не так уж и сложно, из-за того, что и работа, и учеба были удаленными). Похвастаюсь — на 4 курсе даже занял первое место в РФ в соревновании Worldskills по машинному обучению. В Deeplay я уже 3 года. Мы создаем алгоритмы, повышающие вовлеченность людей в видеоиграх: мобильных и компьютерных. С помощью ML мы подстраиваем геймлей под стиль игры пользователей, чтобы они возвращались в игру чаще. Сейчас в основном занимаюсь mlops, ускоряя наши эксперименты. Мой руководитель любит, когда эксперименты проходят за ночь по одной кнопке, а не за месяц, и я делаю все возможное, чтобы он был рад)" В комментариях можно пообщаться с Сашей и задать интересующие вопросы) Посты, над которыми работал Саша в нашем канале: - Функции активации - Чем заменить CSV, если у вас очень много данных - Сравнение метрик двух моделей - Covariance shift и Adversarial validation - Weight Averaging

​​Self- vs Semi- vs Unsupervised learning Вы наверняка слышали следующие термины — supervised ML, unsupervised ML, semi-supervised ML, self-supervised ML. Но чем различаются перечисленные методы? Такой вопрос задали одному из авторов на собеседовании. Давайте наконец-то разберемся с этими терминами! 🔸Supervised machine learning Берем размеченные данные, учим на них модель. Например, классификация изображений, сегментация изображений и в целом любая задача, при которой модель учится только по размеченным данным. 🔸Unsupervised machine learning Берем неразмеченные данные, учим на них модель. Например, кластеризация (KMeans, DBSCAN), понижение размерности (PCA, umap) и, конечно же, автоэнкодеры. 🔸Semi-supervised machine learning Берем размеченные данные и неразмеченные данные, учим на них модель. Например, self-training. Это метод, который можно использовать, если у вас чуть-чуть размеченных и много неразмеченных данных. Сначала обучаем модель на размеченных данных, затем используем обученную модель для разметки большого набора неразмеченных данных. Выбираем из этого большого набора примеры с высокими скорами (и низким лоссом) и обучаем на объединенном наборе данных новую модель. Такой процесс можно сделать в несколько итераций, пока все данные не будут размечены “псевдо-лейблами”. В этой категории стоит также обратить внимание на работу FixMatch — довольно простой для понимания метод. Он легко заводится и иногда выстреливает (особенно вместе с предобучением на какой-нибудь self-supervised задаче). 🔸Self-supervised machine learning Берем неразмеченные данные, генерируем разметку из данных, учим на них модель. Например, в NLP так учится BERT или GPT. Этот метод чаще всего используется для претрейна. Допустим, когда в модель подают повернутые на N градусов картинки и просят ее предсказать угол поворота N. После обучения модели становятся в большей степени адаптированными к вашему домену и к структуре данных, получают более “богатые” фичи. Вообще достаточно много задач решается с помощью данного метода. Например, super-resolution, style transfer (в NLP и в CV) и даже neural architecture search! В каком-то смысле CLiP — тоже self-supervised learning: обучение происходит на тех картинках и подписях к ним, которые собрали скрепером, а далее из этих данных сгенерировали лейблы. Self-supervised learning — очень многообещающий метод предобучения моделей под свой домен (по нашему мнению). Часто бывает так, что ваш домен довольно сильно отличается от домена ImageNet’a, а предобученные на ImageNet’e модели в этом случае являются субоптимальными. Эту проблему можно попытаться решить с помощью self-supervised learning’a на вашем домене. Прелесть self-supervised подходов последних лет заключается не только в том, что они могут забустить вашу метрику, но и в том, что, весьма вероятно, вам потребуется меньше данных для решения ваших задач. Также, как правило, такие методы помогают сети на вашем домене быстрее сходиться. Это экономит время и, как следствие, деньги. Авторы: Ксения Рябинова, Марк Страхов Редактура: Александр Наздрюхин

​​Интерактивная Сегментация Дедовский способ ускорить разметку большого датасета: размечаем небольшую часть, обучаем на ней модель, делаем предразметку, правим руками, повторяем. Но даже с таким подходом размечать маски для сегментации — долго: надо выделять полигоны мышкой. В этом случае на помощь ленивым человекам приходят модели для интерактивной сегментации! Из статьи вы узнаете: - общий алгоритм работы интерактивной сегментации, - как передать информацию о кликах пользователя в сеть, - как смоделировать клики во время обучения, - и по какой метрике сравнивать результаты моделей. Читайте новую статью по ссылке: https://deepschool-pro.notion.site/4009a965d795417fa54dc8d5adc4f7db

​​Хотим с вами поделиться каналом Start Career in DS. Он будет вам полезен, если вы только начинаете карьеру в Data Science. Автор канала - лид команды оптимизации ассортимента Яндекс.Лавки Роман Васильев. Коротко о Роме: – выпускник ВМК МГУ – строит аналитику ассортимента в Яндекс.Лавке – работал в Мегафоне, где разрабатывал ML-модели для оптимизации маркетинга, проводил собеседования, курировал стажеров и расширял команду – руководил командой аналитиков и data scientist’ов в Магните В своём канале Рома делится информацией, которая поможет вам подготовиться к собеседованиям и получить оффер в крутую компанию Примеры некоторых постов: – Красивый курс по базовой теории вероятностей и статистике – Python для анализа данных новичкам – Как под капотом работает Яндекс.Такси – Интерактивные курсы по машинному обучению и Python от Академии Яндекса Если вы интересуетесь DS, рекомендуем заглянуть

​​CVAT SDK PyTorch Adapter Если вам надоело вручную выгружать задания от разметчиков и объединять их для загрузки на сервер, то эта статья для вас. В новом материале обсудим: - как загрузить данные из CVAT напрямую в torch.utils.data.Dataset; - советы при работе с CVAT PyTorch SDK; - недостатки SDK на данный момент. Читайте новую статью по ссылке, чтобы готовить датасеты быстрее: https://deepschool-pro.notion.site/CVAT-SDK-PyTorch-Adapter-e223563927454322a8d56076e59b8b17

Развивайтесь в Computer Vision вместе с DeepSchool 28 марта стартует 4-ый поток курса “Ракета в CV” Мы представили программу во вторник на лекции и уже осталось 9 мест из 25. В данный момент заявок уже больше, чем свободных мест, но у вас еще есть возможность записаться, опередив тех, кто еще думает :) После обучения вы повысите свою ценность на рынке, улучшите процессы в своей команде и научитесь решать полный цикл CV-задач: 🔹собирать чистые данные, 🔹быстрее обучать модели, 🔹ускорять нейросети, 🔹создавать веб-сервисы, 🔹автоматизировать их деплой, 🔹настраивать мониторинг приложений, 🔹решать задачи распознавания лиц, текстов и многое другое. 4 месяца вы будете перенимать опыт у 8 практикующих инженеров: опытных разработчиков, руководителей R&D отделов, тимлидов в области Computer Vision. Мы используем разные подходы, чтобы передать вам свои знания и помочь освоить программу полностью: 🔸end-to-end проекты с подробным code review, 🔸семинары, где отвечаем на вопросы студентов, 🔸групповые задания, 🔸онлайн-лекции, 🔸1-on-1 встречи с куратором, 🔸текстовые гайды к лекциям и инструментам. Оставляйте заявку на консультацию на нашем сайте. С вами свяжется один из основателей DeepSchool Тимур Фатыхов. На встрече он ответит на ваши вопросы, расскажет подробнее о программе и поможет определить, подходит ли наш курс под ваши цели и задачи.

Как устроены TPU CPU играет первостепенную роль в обучении и инференсе нейронных сетей. Остальные ускорители выступают как сопроцессоры. Часть из них массивна и самостоятельна, как, например, GPU. А другая часть может выполнять только особые операции, поэтому для их полноценного использования нейросеть должна будет пройти сложные этапы компиляции и перестройки графа. Характерный пример таких ускорителей — Google TPU. И как раз про него мы и расскажем. Из новой статьи вы узнаете: - почему GPU избыточны для нейросетей; - за счет чего TPU столь эффективны; - как устроен модуль перемножения матриц в TPU. Читайте по ссылке, чтобы лучше разобраться в ускорителях: https://deepschool-pro.notion.site/Google-TPU-c3160492e8fa44af81fd640218b290ae

Встречаемся сегодня в 18:00 Напоминаем, что сегодня мы проводим открытую онлайн-лекцию "Как быть востребованным CV-инженером" Она пройдёт в 18.00 мск в Zoom На лекции мы обсудим: 🔹что требуют от специалистов на рынке в 2023 году; 🔹какие навыки из мира разработки важно развивать DL-инженеру и почему; 🔹как встроить процесс развития этих навыков в работу уже сейчас; 🔹и ответим на ваши вопросы из бота и чата встречи Обязательно приходите, если вы: 🔸 работаете или планируете работать в продуктовых командах (не research); 🔸 переживаете, что есть пробелы в знаниях, не уверены, что сможете легко сменить работу при надобности; 🔸 вам не хватает code review, вы не пишете тесты, не знакомы с CI/CD; 🔸 не знаете куда развиваться Лекцию проведёт один из основателей DeepSchool, Тимур Фатыхов. Регистрируйтесь по ссылке в боте! 🎁 При регистрации вы получите список библиотек, фреймворков и сервисов для CV-инженера, которые ускорят вашу работу До встречи на лекции через 2 часа!

Weight Averaging Stohastic Weight Averaging и Exponential Weight Averaging зачастую позволяют улучшить качество нейросети на различных задачах. Кроме того, эти методы достаточно просты в использовании. Давайте вместе вспомним/разберемся как они работают и как быстро встроить их в свой пайплайн. Читайте новую короткую статью по ссылке: https://deepschool-pro.notion.site/Weight-Averaging-07a2c80c6cf54858887d71fac70d8a31

🧑‍🏫Приходите на открытую лекцию 21 марта Помимо ведения телеграм-канала команда DeepSchool развивает курс Ракета в Computer Vision. На курсе мы повышаем квалификацию инженеров в CV, обучая решать полный цикл CV-задач от сбора данных до деплоя веб-сервисов. Мы провели уже 3 потока и выпустили 50+ студентов. За это время мы провели более 100 интервью с инженерами, тимлидами и руководителями из сферы ML. Исходя из проведенных встреч, мы заметили, что большинство специалистов задаются вопросом: “как оставаться востребованным инженером?”. Мы решили провести открытую лекцию, на которой ответим на этот вопрос. Кроме этого мы обсудим: 🔹что требуют от специалистов на рынке в 2023 году; 🔹какие навыки из мира разработки важно развивать DL-инженеру и почему; 🔹как встроить процесс развития этих навыков в работу уже сейчас. Вам будет полезно, если вы: 🔸 работаете или планируете работать в продуктовых командах (не research); 🔸 переживаете, что есть пробелы в знаниях, не уверены, что сможете легко сменить работу при надобности; 🔸 вам не хватает code review, вы не пишете тесты, не знакомы с CI/CD; 🔸 не знаете куда развиваться. Лекцию проведёт один из основателей DeepSchool — Тимур Фатыхов 🗓 Встречаемся во вторник 21 марта в 18:00 Мск Чтобы попасть на лекцию, регистрируйтесь по ссылке в боте 🎁 При регистрации вы получите список библиотек, фреймворков и сервисов для CV-инженера, которые ускорят вашу работу Переходите в бот, регистрируйтесь и забирайте список себе До встречи на лекции!

​​Матчинг гистограмм В новой статье разберем и покажем один из методов доменной адаптации. С его помощью вы сможете быстро и дешево расширить датасет. В статье пройдемся по основным этапам алгоритма, чтобы вы разобрались, как одна картинка приобретает черты другой при помощи матчинга гистограмм. Читайте подробнее по ссылке: https://deepschool-pro.notion.site/884b0a10c9ac4b97b03fc1e23b4cface

🎞Запись подкаста с Владом Лялиным Ура, со второго раза запись удалась! На подкасте с Владом мы обсудили: - чем ds-сообщество СНГ отличается от США; - как попасть на PhD в штаты; - как подготовиться к интервью на стажировку в Google, Apple, Amazon; - какие задачи решают стажеры, сколько они зарабатывают, чем отличаются компании между собой. Еще ответили на вопрос подписчика: “Что делать NLP-инженеру в связи с выходом OpenAI API” — но так как ответ универсальный, то будет работать для всех DL-инженеров (а то после GPT-4 напряглись не только NLP-специалисты). Уже второй подкаст подряд приходим к рассуждениям о важности развития в нашей области. 💬 Поделитесь вашим опытом в комментариях, как вы поспеваете за индустрией? Какие навыки развиваете, чтобы быть актуальным? Смотрите подкаст и подписывайтесь на наш yt-канал: https://youtu.be/z0bfVHYMEOU