Post #527

Score Distillation Sampling в задаче text-to-3D Диффузионные модели активно используются в задачах генерации 2D, будь то изображения или видео. Современные text-to-image модели обучались на огромном корпусе данных и в результате научились генерировать разнообразные картинки высокого качества. Однако как применить диффузионные модели в 3D? Одно из возможных решений этой проблемы — метод, предложенный в работе DreamFusion — Score Distillation Sampling. Авторы предлагают использовать знания, которые есть в предобученной text-to-image модели для обучения 3D генератора. В новом посте разберём основную идею метода, а также, в каких ещё задачах применяется такой подход. Рассмотрим интуицию, а также математику идеи и посмотрим, какие результаты можно получить. Читайте по ссылке! 🪔DeepSchool