DeepSchool

Kaggle NFL — Player Contact Detection (Часть 2) Мы продолжаем разбирать лучшие решения с соревнования Kaggle NFL. В нём участникам предстояло детектировать столкновения игроков в американском футболе, анализируя данные видеокамер и датчиков прикрепленных к игрокам. В продолжение первой статьи мы расскажем: - какие ещё решения придумали участники для детектирования контакта между игроками - как закодировать трекинг-данные с датчиков в фичемапы - про методы аугментации видео для задачи классификации Читайте новую статью по ссылке: https://deepschool-pro.notion.site/Kaggle-NFL-Player-Contact-Detection-2-4e123d37bddf41089fd28bf4b377343b?pvs=4

Анимация детских рисунков А вы думали в детстве об оживлении своих рисунков? Антон, автор нашей новой статьи – да! Но мог разве что рисовать много-много похожих изображений в углу листа, а потом быстро пролистывать тетрадку. А недавно исследователи воплотили мысль в реальность и придумали метод анимации детских персонажей. В статье мы расскажем: - какие методы и модели использовались для анимации - как авторы решили проблему с отсутствием данных для обучения моделей - что делать, если нейросети не справляются с задачей Читайте нашу статью по ссылке и пробуйте оживить свои рисунки самостоятельно: https://deepschool-pro.notion.site/e234f7a87e814047ab1d01ddc5334d9c?pvs=4

Открываем предзапись на курс 3D Computer Vision! 👩‍💻 В индустрии все чаще появляются термины из 3D CV: команды бигтехов публикуют больше работ в этой области, в требованиях вакансий чаще встречаются инструменты из 3D. Развиваются беспилотные автомобили и робототехника, VR/AR шлемы, игры и приложения. В недавнем подкасте эксперты из сферы рассказали о том, как проходило их погружение в тему: структурированных материалов меньше, чем для классических 2D-задач, приходится тратить много времени на самостоятельное изучение статей и книг, а потом пробовать применять это в рабочих проектах. Чтобы облегчить погружение тем, кто хочет разобраться в этом направлении, мы запускаем курс 3D Computer Vision. Курс объяснит теорию подходов и решений из этой области и позволит закрепить знания практике. В рамках курса вы научитесь: 🔹Работать с 3D-данными 🔹Реконструировать 3D по фото и видео 🔹Решать привычные задачи (детекция, сегментация), в трехмерном мире 🔹Узнаете, как научить роботов видеть. Освоите SfM и SLAM 🔹Окунётесь в будущее реднеринга, освоив NeRF-методы 🔹 Погрузитесь в прикладные области, такие как аватары и цифровые двойники Программа состоит из 10 лекций, продолжительность — 2 месяца. После каждой лекции — практическая задача, решение которой проверяют спикеры курса. Спикеры — практики из различных направлений в 3D. Дата начала: 29 июня 👉Запишитесь в анкету предзаписи, чтобы получить максимальную скидку на обучение и получить доступ к Zoom-встрече с создателями курса по теме “Погружение в 3D CV”. Подробности в анкете Заполнение анкеты ни к чему не обязывает, но даёт возможность попасть на обучение по лучшим условиям и получить приглашение на Zoom-встречу

Неполные наблюдения не беда. Восстанавливаем скрытые переменные для моделирования сложных динамических систем При работе со сложными динамическими системами вроде роботов и финансового рынка мы сталкиваемся с проблемой: обучать модели приходится на основе неполных наблюдений. В таких случаях нам доступна только часть данных. Пример: мы хотим по текущим результатам анализов предсказать результаты через пять месяцев. Тогда мы можем: 1) представить здоровье человека в виде скрытого состояния 2) восстановить его 3) распространить динамику здоровья на 5 месяцев вперед при помощи выбранной архитектуры 4) на основе полученных данных предсказать результаты анализов. В новой статье мы расскажем про пример такой задачи из области робототехники. Из статьи вы также узнаете: - с чего начать, если вы столкнулись с такой задачей - 4 метода решения - и практические советы Читайте нашу статью по ссылке, чтобы узнать преимущества и недостатки каждого из методов: https://deepschool-pro.notion.site/cc6b0aab07714925adcde6a0637def4f

Сложно ли погрузиться в 3D CV? В подкасте выше Давид и Дмитрий рассуждали, почему задач в области 3D становится больше, и рассказали, как они погружались в эту область. Если вы не слушали подкаст, то вот краткое содержание этой части: - кол-во задач растет благодаря развитию DL, который стали активно применять в 3D - но в плане deep learning, 3D CV гораздо менее развит, чем 2D - и нет такого количества инструментов, гайдов и образовательных материалов по этой теме - поэтому гости подкаста погружались в 3D через изучение статей на arxiv и решение рабочих задач Недавно мы проводили интервью с подписчиками канала. Среди которых были и уже знакомые с 3D инженеры. И вот что мы узнали от них: - знания приходится собирать по крупицам с разных источников - часто не понятно, какая теория стоит за используемыми инструментами - для современных решений может вообще не быть понятных статей и инструкций Но скоро мы поможем в решении этих проблем и представим свой курс по 3D CV, который упростит погружение в эту область, объяснит теорию классических и современных алгоритмов и поможет закрепить знания на практике. На днях расскажем о нем подробнее. Ставьте реакции, если вам это интересно!🔥

​​🎧3D CV — разговор сэкспертами В индустрии все чаще встречаются термины из 3D. В двух последних интервью мы тоже затрагивали эту область CV: Миша рассказал как собеседовался в XR команду, а Артем упомянул 3D как одно из развивающихся направлений в computer vision. Чтобы познакомить вас с этим направлением, мы пригласили двух гостей с ортогональным опытом в 3D и записали с ними подкаст. Наши гости: 🙋‍♂ Давид Свитов, Research Scientist, Samsung AI Lab, PhD — создает цифровых аватаров 🙋 Дмитрий Раков, Head of ML Department, NIIAS — работает над беспилотными поездами Ребята рассказали: - какие задачи решают в 3D CV - как будет развиваться это направление - важно ли CV-инженеру уметь в 3D - и как они погружались в область В аудио ниже — ответы Давида и Дмитрия в виде сплошного рассказа. Вынесли самое важное из 3 часов разговора в 35 минут, которые можно прослушать на х1.5-2 Поделитесь в комментариях: как вам такой формат сжатых подкастов? Для нас он экспериментальный, будем рады обратной связи! Приятного прослушивания!

КакLLMs могут принимать сразу 100К токенов на вход? Недавно несколько компаний объявили о возможности своих LLMs брать на вход аж до 100K токенов. Это промпт размером с книгу! Для примера, OpenAI GPT-4 может брать 8-32K, а опен-сорсные модели всего 2K. В новой статье Галя, выпускница нашего курса, разобрала техническую сторону вопроса и постаралась включить все основыне трюки, используемые MosaicML, Anthropic и Google. В статье описаны: - подробный вывод вычислительной сложности трансформера и ее влияние на стоимость обучения - хитрые вычисления на GPU и Flash Attention, который недавно стал частью PyTorch - нестандартный позиционный эмбеддинг ALiBi и почему нельзя было использовать оригинальный - Multi-Query Attention, Sparse Attention и Условные вычисления Читайте статью по ссылке и поддерживайте Галю 👏🏻 на Medium: https://medium.com/gopenai/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c Задавайте вопросы Гале в комментариях к этому посту 👇

🎞Запись подкастас АртёмомСанакоевым Артём — автор эйай ньюз и Senior Research Scientist в Meta (подразделение GenAI). На подкасте с Артёмом мы обсудили: - личный бренд и почему Артём пишет на русском языке - как устроена и работает ресерч группа в Meta - что нужно знать CV инженеру, чтобы оставаться актуальным Смотрите наше интервью на youtube и подписывайтесь на наш канал: https://youtu.be/ONUKZM2rwBs

🎞Запись подкаста с Мишей Моисеевым Миша — Senior AI Engineer в AstraZeneca, а ранее Head of AI в movavi.ru. На подкасте с Мишей мы обсудили: - поиск работы в европейских компаниях - как проходит собеседование в Facebook на Principal AI Engineer - что изучать CV инженерам, чтобы оставаться востребованным - какие задачи решает AI в AstraZeneca Подробнее и с таймкодами смотрите на нашем youtube канале: https://youtu.be/Kz6qWA7ws60

Сегодня опубликуем 2 записи интервью: с Мишей и Артемом. Спасибо, что ждали и поддерживали в комментариях! PS Неудачно записали звук с Мишей, перепробовали разные варианты в надежде его улучшить. В итоге спас adobe podcast со своим voice enhancer — нейросети делают вещи🦾 PPS Кажется, это первое видео в интернете с Артемом — по крайней мере мы другого не нашли) Не пропустите сенсацию!

​​SIGGRAPH Летом состоится ежегодная конференция SIGGRAPH, посвященная инновациям в области 3D CV. Именно на SIGGRAPH каждый год формируется будущее трехмерной графики: крупнейшие компании показывают лучшие разработки и последние технологии в области. Одни только инженеры NVIDIA подали на конференцию больше 15 работ! Многие участники уже поделились своими публикациями для конференции в соц. сетях, а в нашей статье мы коротко описали самые интересные из них. Из статьи вы узнаете: - какие задачи актуальны в области сейчас - как нейросетевые технологии упрощают разработку видеоигр - как NVIDIA моделируют волосы в играх - как сгенерировать реалистичный 3D аватар по одной фотографии Читайте нашу новую статью и знакомьтесь с инновациями в компьютерном зрении: https://deepschool-pro.notion.site/SIGGRAPH-3D-CV-d7ed7a991812485c8e85dae85af1822b