Post #4834

Товарищ Netflix В 1930-е в СССР научились ретушировать фотографии. Попал нарком в опалу, его аккуратно стирали с групповых снимков: Ежов, Троцкий, кто-то ещё. Работали кисточкой, работали аэрографом. С фото вопрос решили. С кино было сложнее. Фильмы приходилось класть на полку целиком или кромсать ножницами, получалось грубо, заметно, с дырами в монтаже. Инструмента не было. Прошло 90 лет. Netflix Research опубликовал Video Object and Interaction Deletion (VOID). Фреймворк, который удаляет объекты из видео вместе со всеми физическими последствиями их присутствия в сцене. Существующие методы умеют стирать объект и закрашивать фон за ним. Тени убрать, отражения подчистить. Но если удаленный объект с чем-то взаимодействовал (толкал, держал, ронял), результат разваливается. VOID решает именно эту задачу. Работает так: пользователь кликает на объект. VLM (в данном случае Gemini) анализирует сцену и определяет, какие области будут каузально затронуты удалением. Что упадет, что перестанет двигаться, что изменит траекторию. Все это кодируется в четырехзначную маску (quadmask), которая расширяет бинарную логику инпейнтинга оставить-удалить. Маска уходит в дообученную CogVideoX (открытая диффузионка от Z.ai). Та генерирует альтернативную версию событий, в которой удаленного объекта никогда не существовало. Удалили человека, который держал гитару. Гитара естественно падает. Убрали шар из боулинга. Кегли стоят нетронутые. Стерли кота, который играл с клубком. Клубок лежит на месте. Для обучения собрали синтетический датасет парных примеров: сцена с объектом и сцена без него с корректной физикой. Использовали Kubric от Google и HUMOTO с motion capture в Blender. Тренировали на 8 штуках A100 80GB. Файнтюн CogVideoX на HuggingFace, статья на архиве. Камрады плачут от зависти. @anti_agi