TGTGInsightаналитика telegramLIVE / telegram public index
← Machinelearning

TGINSIGHT SIMILAR POSTS

Найти похожее

Источник @ai_machinelearning_big_data · Post #7985 · 8 июл.

🌟EX-4D: генерация видео с экстремальными движениями камеры. EX-4D - совместная разработка ByteDance и Pico, которая предлагает элегантное решение проблемы генерации экстремальных ракурсов камеры для видео. Методика позволяет генерировать видео с амплитудой угла камеры от -90° до 90°, опираясь на новый тип геометрического представления, Depth Watertight Mesh (DW-Mesh). В отличие от стандартных методов, которые строят 3D-сцену только из видимых поверхностей, DW-Mesh создает трехмерный замкнутый меш на основе данных о глубине сцены. Он моделирует не только то, что видит камера, но и пытается логически завершить скрытые от нее области. По сути, система строит цельный геометрический каркас сцены, который сохраняет свою форму даже при взгляде с самых неожиданных углов. Это предотвращает появление разрывов и искажений, когда ранее невидимая часть объекта попадает в кадр. При создании EX-4D использовали уникальную стратегию обучения, которая не требует многоракурсных видеосетов. Разработчики обошли эту проблему, заставив модель создавать обучающие данные для самой себя. Используя построенный DW-Mesh, система генерирует маски, симулируя, какие части сцены были бы скрыты при других ракурсах. Этот подход с двумя компонентами, Rendering Mask и Tracking Mask, имитирует реальные условия съемки с разных точек и дает временную согласованность маскировки, обучая модель правильно «додумывать» геометрию. Вся эта система работает на базе видеомодели Wan2.1 (рекомендуют версию 14B 480p), но не требует ее полной перетренировки. Геометрическая информация от DW-Mesh интегрируется с помощью LoRA-адаптера, он выступает мостом между меш-каркасом и генеративной нейросетью. В тестах EX-4D обходит TrajectoryCrafter и ReCamMaster, особенно на больших углах. В пользовательских тестах 70 % участников отдали предпочтение видео, сгенерированным EX-4D, отметив физическую консистентность и высокое качество картинки. ⚠️ Локальный запуск потребует значительных ресурсов, особенно для видео высокого разрешения. Помимо Wan2.1, самой EX-4D, еще понадобятся пакеты nvdiffrast от NVlabs и DepthCrafter от Tencent. В планах: оптимизация инференса, поддержка 1К и 2К разрешения и новые техники уточнения мешей. 📌Лицензирование: Apache 2.0 License. 🟡Страница проекта 🟡Модель 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI#ML#EX4D#ByteDance#Video

Результаты

Найдено 18 похожих постов

Илья AGI TV 🤖

@ilia_plasma · Post #613 · 05.02.2025, 06:53

Китайцы продолжают бомбить рынок новыми ИИ моделями. #ByteDance выпустил видео генератор OmniHuman-1 для замены блогеров, певцов и CEO Nvidia. ❗️ Осторожно: все видео - AI

Hashtags

ByteDance анонсировала Seaweed APT2 — модель для генерации видео в реальном времени. Пока доступна только демонстрация, но уже видно, что это серьёзный шаг вперёд. 🔍 Краткий обзор возможностей: Реальное время: генерация видео при 24 кадрах в секунду с разрешением до 1280x720 пикселей. Длительность: поддержка видео продолжительностью до 1 минуты (1440 кадров) при использовании всего одной нейронной сети (1NFE). Интерактивность: возможность управления персонажами и камерой в реальном времени. Качество: высокая детализация и плавные движения. Аппаратные требования: работает на одном H100 GPU при разрешении 736x416 пикселей. 🧠 Технология: Модель использует авторегрессионную архитектуру с кэшированием ключевых векторов (KV cache), что позволяет достигать постоянной скорости вывода. Обучение проводилось с использованием adversarial post-training (APT), что обеспечивает высокое качество генерации. ⚠️ Важные моменты: Не open-source: модель не имеет открытого исходного кода. Возможная интеграция: скорее всего, Seaweed APT2 будет интегрирована в продукты ByteDance, такие как CapCut или TikTok Studio. 🔗Подробнее #ByteDance | acidcrunch

Hashtags

JDMax Channel

@jdmaxchannel · Post #5748 · 10.04.2026, 10:48

В рилсах показали, как кастомизировать папки на Макбуке — весь рабочий стол можно заставить котами. Дело на ближайший час ✅ JDMax#video

Hashtags

JDMax Channel

@jdmaxchannel · Post #5746 · 09.04.2026, 14:26

😘Сфера в Лас-Вегасе превратилась в Луну. Почувствовать себя астронавтом 👍🏻 JDMax#video

Hashtags

JDMax Channel

@jdmaxchannel · Post #5570 · 14.03.2026, 11:02

Интернет угорает над самой тонкоймашиной — ролик со тачкой собрал 2.5 миллиона лайков за день. Комменты не подвели. JDMax#video

Hashtags

JDMax Channel

@jdmaxchannel · Post #5330 · 09.02.2026, 15:37

Очень редкое явление засняли в Финляндии- ПЕРЛАМУТРОВЫЕ облака. Официальное название такой красоты - стратосферные облака. Они образуются в нижней стратосфере при аномально низких температурах — например, -78°. 🔥 - красиво JDMax#video

Hashtags

JDMax Channel

@jdmaxchannel · Post #5278 · 03.02.2026, 09:02

Ролик про дом этого парня собрал 200 млн просмотров за сутки. Это настоящие убежище с десятком секретных комнат и аттракционов. JDMax#video

Hashtags

JDMax Channel

@jdmaxchannel · Post #5146 · 11.01.2026, 16:02

Путешествие к центру Земли — фотограф прикрепил свою камеру к буру и отправил внутрь древнего ледника на глубину в 100 метров. Перед вами прекрасный лёд, которому миллионы лет — внутри замёрзшей воды хранятся забытые тайны нашей планеты. JDMax#video

Hashtags

JDMax Channel

@jdmaxchannel · Post #5001 · 16.12.2025, 10:33

Дрон заснял горы, покрытые миллионами солнечных панелей. Там видны блестящие щиты, уходящие вдаль, без конца и края. 📍Локация происходящего — Китай, регион Гуйчжоу. Раньше он считался не самым подходящим для сельского хозяйства: там высоко, прохладно и не очень удобно что-либо выращивать. Но эти же условия оказались идеальным для другого — выработки зеленой энергии. JDMax#video

Hashtags

JDMax Channel

@jdmaxchannel · Post #4958 · 09.12.2025, 13:05

Видео дня: в Китае мужчина проигнорировал запрет и достал сигарету прямо в зоне общения с животными. «Курение вредит Вашему здоровью»- напомнила белуха. JDMax#video

Hashtags

JDMax Channel

@jdmaxchannel · Post #4814 · 16.11.2025, 16:06

В сети нашли самый эпичный свадебный видос. Оператор и монтажёр отработали каждый бутерброд. JDMax#video

Hashtags

JDMax Channel

@jdmaxchannel · Post #4804 · 15.11.2025, 12:11

Фрирайдер Альваро Пенадес спустился по опаснейшему горному склону в Канаде, лавируя между песчаными глыбами. JDMax#video

Hashtags

12
НазадСтр. 1 из 2Вперёд