Machinelearning

🌟Kimodo: диффузионная модель для генерации 3D-движений людей. NVIDIA выложила в открытый доступ проект Kimodo - генеративную модель на основе диффузии, которая создает реалистичные трехмерные движения для человеческих и робототехнических скелетов. Kimodo принимает на вход текстовые промпты и ключевые позы всего тела, позиции и вращения конечностей, двухмерные пути и контрольные точки. Это позволяет точно управлять генерацией: от общего описания наподобие "персонаж идет и садится на стул" до детального контроля положения рук и ног в кадрах. Всего доступно 5 вариантов модели для 3 типов скелетов: SOMA, SMPL-X и Unitree G1. Первые два ориентированы на анимацию аватаров, третий - на робота Unitree G1. Модели, обученные на полном датасете Bones Rigplay 1 (700 часов), NVIDIA рекомендует как основные рабочие. Варианты на сете BONES-SEED (288 часов) предназначены для бенчмаркинга и сравнения с собственными разработками. Для работы с Kimodo предусмотрены 3 интерфейса: 🟢Интерактивное веб-демо с таймлайн-редактором; 🟢CLI-утилита для пакетной генерации; 🟢Python API для тонкой настройки . Под инференс потребуется около 17 ГБ видеопамяти, модели запускали на RTX 3090, RTX 4090 и NVIDIA A100. 🟡Интеграция с робототехническим стеком NVIDIA. ProtoMotions позволяет брать сгенерированные движения и обучать на них физически корректные политики управления в GPU-ускоренной симуляции — как для аватаров, так и для Unitree G1. Через General Motion Retargeting движения, созданные на скелете SMPL-X, можно перенести на произвольных роботов. 📌Лицензирование: Код проекта под Apache 2.0, большинство моделей под NVIDIA Open Model License. Вариант SMPL-X имеет более ограниченную NVIDIA R&D Model License, она допускает только исследовательское применение. 🟡Набор моделей 🟡Техотчет 🖥Github @ai_machinelearning_big_data #AI#ML#Robotics#Kimodo#NVIDIA