Post #1081

На прошлой неделе китайская видео-платформа Tencent Video объявила о совместном партнерстве с английской компанией Mirriad. Сложно поверить, что промо-ролик сделан без помощи сторонних инструментов. В простом случае надо найти плоскость и матчить ее из кадра в кадр. Но на этом видео можно заменить, что ни положение теней, ни преломление света не нарушено при замене. А в первом примере даже нет никаких артефактов от руки. Думаю, что это все равно еще пока рендерится в оффлайне, но риалтайма надо еще пройти долгий путь. Это довольно редкий случай, когда китайская компания покупает техническое решение за пределами рынка. Хороший сигнал для deep-tech стартапов. Tencent Video может скорректировать дорожную карту своего продукта для улучшения функций для feature matching (матчинга поверхности в кадре) и сегментации людей. Возможно, будет даже как-то неявно просить блогеров или зрителей помочь с разметкой. Судя по твиттеру, английская компания также отвечает и за продвижение продукта среди бреднов, скорее всего Tencent пока присматривается к решению. Papers от Mirriad я быстро не нашел. Чтобы немного лучше понять текущее состояние дел в индустрии, прочитал такую работу, которая посвещена наложению рекламы на трибуну на футбольных матчах. Pipeline состоит из семантической сегментации, построения depth map, наложении рекламы на доминантную плоскость в облаке точек трибуны и дальнейший трекинг все этого. Никаких знаний о камерах и никаких маркеров, только картинка и только CV. Пример работы алгоритма. В общем, все возможно при должной разметке, и хороших данных для обучения.