Post #2716

Представлены видео со свободной точкой обзора — free-view videos (FVV) на основе ReRF! Текущие методы, использующие нейронную визуализацию (NeRF) для создания FVV-контента ограничены либо работой в оффлайн режиме, либо способностью обрабатывать только короткие сцены с минимальным движением. Новый метод ReRF (Residual Radiance Field) обладает отличным сжатием, и подходит для реал-тайм визуализации длинных динамичных сцен с возможностью свободно вертеть камерой. Для FVV сделан отдельный кодек, который сжимает контент в десятки-сотни раз без потери качества: ReRF — 0,645 МБ/кадр INGP — 87,3 МБ/кадр DVGO — 785,6 МБ/кадр Сопровождается ReRF-плеером для онлайн-трансляций и длительных FVV сцен. Подключил своего цифрового двойника к сайту/апе, через SD+SAM сгенерил ему новый шмот, повертел со всех сторон в ReRF-плеере, что понравилось — отправил на печать в 3D-принтере или доставкой на дом. Интересно как свободную камеру в мире кино применят. Сейчас такое практикуется в играх от первого лица. Сайт Бумага Код (пока нет)