Post #9903

🌟Lyra 2.0: фреймворк для генерации исследуемых 3D-миров по одной фотографии. NVIDIA опубликовала веса модели и код Lyra 2.0 - системы, которая принимает на вход изображение, генерирует видео с управляемой траекторией камеры, а затем реконструирует его в 3D-гауссианы и полигональные меши. Готовые ассеты можно напрямую импортировать в игровые движки и робототехнические симуляторы. Система будет полезна для массовой генерации тренировочных 3D-сред для воплощенного ИИ. Главная задача, которую решает фреймворк - сохранение согласованности сцены при длительном пролете камеры. Lyra 2.0 хранит 3D-геометрию каждого кадра в отдельном кэше, при возврате извлекает релевантные исторические кадры по степени перекрытия видимости и устанавливает плотные геометрические соответствия через варпинг канонических координат. Геометрия используется только для маршрутизации информации - какие кадры извлечь и как их сопоставить с текущим ракурсом. За синтез внешнего вида отвечает диффузионная модель. Базовая модель построена на архитектуре Wan 2.1-14B с выходным разрешением 832×480. Для 3D-реконструкции применяется дообученная версия Depth Anything v3 в feed-forward режиме, а поверхностные меши извлекаются через иерархический подход на основе OpenVDB. На бенчмарках DL3DV и Tanks and Temples Lyra 2.0 превзошла все аналоги (GEN3C, CaM, SPMem, VMem, Yume-1.5 и HY-WorldPlay) практически по всем метрикам: FID, SSIM, LPIPS, субъективное качество и стилистическая согласованность. Первая версия фреймворка, вышедшая в сентябре, поддерживала лишь генерацию на коротких дистанциях. Ближайший конкурент второй версии, Genie 3 от Google, обладает схожими возможностями, но остаётся закрытым. 🟡Страница проекта 🟡Arxiv 🟡Модель 🖥GitHub @ai_machinelearning_big_data #AI#ML#3DWorlds#Lyra2#NVIDIA