@ai_machinelearning_big_data · Post #8057 · 2025/07/14 18:02
🧠 Как «вклеить» объект в картинку так, чтобы он выглядел естественно? Это одна из самых сложных задач в семантической генерации: 🔸 нужно сохранить структуру сцены 🔸 вставить объект по текстовому описанию 🔸 и найти уместное место, а не просто налепить поверх Большинство моделей с этим не справляются — объект добавляется не к месту или портит фон. Новый метод Add-it от NVIDIA решает эту задачу без обучения модели. Он расширяет механизм внимания в диффузионных моделях, чтобы учитывать сразу три источника: 1. Оригинальное изображение 2. Текстовый промпт 3. Промежуточную сгенерированную картинку 📌 Такой подход позволяет: – сохранить геометрию сцены – встроить объект туда, где он действительно мог бы быть – не терять мелкие детали и текстуры 📊 Результаты: – Add-it без дообучения обходит supervised‑модели – На новом бенчмарке Additing Affordance показывает SOTA результат по «естественности размещения» – В слепых тестах люди выбирают его в 80% случаев – Улучшает метрики качества генерации 🟠Github: https://github.com/NVlabs/addit 🟠Demo: https://huggingface.co/spaces/nvidia/addit 🟠Paper: https://arxiv.org/abs/2411.07232 🟠Project: https://research.nvidia.com/labs/par/addit/ @ai_machinelearning_big_data #NVIDIA#Diffusion#Addit#StableDiffusion#AIgen#ControllableGeneration