Точки над ИИ

Microsoft выкатили неплохую image-to-3D модель TRELLIS.2, 4 млрд параметров, превращает изображения в 3D-модельки с текстурами и материалами. Генерация до 1536³ вокселей, от пары секунд до минуты на H100, при этом модель спокойно работает на GPU с 24 ГБ VRAM. Использует свою O-Voxel структуру, поэтому поддерживаются сложные формы, открытые поверхности. На выходе готовые ассеты под рендер или продакшн. Можно нести в игры, AR/VR или 3D-печать. Есть нюансы вроде мелких дыр в меше, но под это уже лежат скрипты постобработки. Открытый код на GitHub, бесплатная демка на Hugging Face, где можно загрузить изображение, покрутить seed и разрешение и сразу скачать модель. #3D@TochkiNadAI

SAM3 – новая модель генерации из image в 3D Довольно хорошо реконструирует сцены, генерит отдельные объекты, сегментирует объекты с картинки на входе (есть ручная разметка). Очень быстрая генерация. Первое видео демонстрирует приличные примеры. Вторым не мог не поделиться! Дал на вход свою фотку. По-моему результат супер 😉 Тестить тут. Git тут. #3D@TochkiNadAI

А вот, если пропустили, из мира AI 3D В Hunyuan 3D, говорят, точность выросла в три раза, по большей части ушли плавающие детали и кривые позы, геометрия и текстуры держатся лучше. Процесс устроен примерно так: сначала форма, потом шлифовка, итогом становятся lifelike-поверхности и аккуратные лица, волосы, ткань. На вход текст или картинка (можно и вместе), на выход детальная 3D-модель с экспортом в OBJ/FBX/GLB. Тестим тут. Кстати, еще они пару недель назад показывали HunyuanImage 3.0. Веб GitHub Hugging Face #3D@TochkiNadAI #gamedev@TochkiNadAI

Новый игрок в мире видео-генераций. Точнее, в качестве контроля результата. Эта модель генерит 3D-анимацию со скелетом на основе референсного видео, затем можно крутить ракурсы и полностью контролировать сцену. Кроме того, то же самое она может делать на основе промпта, а дальше еще можно выбирать готовые фильтры для поведения персонажа. Называется Kinetix. #3D@TochkiNadAI #videoGenerative@TochkiNadAI

Из скетча в пространственное облако точек Любопытный стартап, который предлагает в рамках последовательного воркфлоу генерить реалистичные (ну или стилизованные) пространства. Мне это особенно интересно в рамках наших VR-проектов и всяких там метавёрсов. Тут есть вэйтлист, судя по всему уже через 4 дня будет какой-то релиз. #3D@TochkiNadAI

3D вайб-моделлинг Несложный пайплайн генерации модельки в Weavy: 1. Генерим персонажа по промпту 2. Генерим 4 угла изображения с помощью промптов в Nano Banana 3. Делаем эскиз грубой 3D-модели в Hunyuan 3D. Ну и потом бонусом можно собрать ролик из разных ракурсов в Kling 2.1 #3D@TochkiNadAI

Если у вас есть Polycam – обновляйте iOS приложение Туда добавили AI Capture, теперь там есть image-to-3D модель, можно генерить объекты из загруженных изображений и добавлять их в ваши сканы, либо просто выгружать в нужном формате. #3D@TochkiNadAI

Китай подвез обновление Hunyuan Теперь 2D to 3D стал выглядеть еще взрослее. Пример, если что, не мой, я зажал 9$ и потестил только на шейп варианте. #3D@TochkiNadAI

Давно не было 2D-to-3D моделей Вот есть Sparc3D, он генерит довольно детализированные модели. На картинке к посту – Labubu-версия меня. Сгенерил ее изображением и отдал Спарку, он думал 1000 секунд, потом выдал ошибку. Потом снова попробую. Но у других ребят видел результаты – генерит круто. И прикладываю видео тизер демки. Демо для тестов лежит на ХаггингФэйс. #3D@TochkiNadAI

Если вдруг пропустили – у Krea вышел простенький редактор, в котором можно по промпту быстро накидывать 3D-сцены. Да, пока выглядит кринжовенько, но вполне подойдет для быстрых концептов, особенно если вы не 3D-дизайнер. На видео пример с ковбоем от Krea, а второй скрин – это моя городская сцена😄 Но вообще еще вижу в этом потенциал для контроля генерации видео. Расставляешь сцену, задаешь ракурсы и отправляешь AI "рендерить" реалистичный ролик. #3D@TochkiNadAI

Кто пользуется Polycam? У них новая функция – ИИ, который генерирует 3D-модель из одного 2D-изображения, менее чем за минуту. Не требует сложной настройки. Загрузите изображение высокого качества, и алгоритм возьмет все из него. Результаты варьируются в зависимости от входных данных, но скорость хорошая. Подойдет для быстрого прототипирования или визуализации на ранних стадиях. #3D@TochkiNadAI

Немножко 2D to 3D MeshFormer позволяет создавать 3D-сетки с текстурами из нескольких 2D-изображений. Благодаря сочетанию трансформеров и 3D-методов эта технология ускоряет и упрощает процессы. Она может улучшить творческие рабочие процессы в играх, XR и виртуал-продакшн проектах. Возьмем на карандаш. #3D