Machinelearning

🔥RenderFormer: как нейросети меняют 3D-рендеринг - Новое Исследование Microsoft Research RenderFormer — это нейросеть, которая способна полностью заменить традиционный рендеринг (ray tracing, rasterization), используя только машинное обучение. - Она работает с любыми 3D-сценами, поддерживает глобальное освещение и отображение материалов. 📌 Как это устроено - Сцена представляется через * tokens* — треугольники с информацией о позиции, нормалях и свойствах материалов. - Источники света также моделируются треугольниками. - Используются два трансформера: 1. View-independent — для теней, рассеянного освещения и эффектов, не зависящих от угла обзора. 2. View-dependent — для отражений, бликов и других эффектов, связанных с перспективой. - Результат работы модели — токены, которые преобразуются в финальное изображение. 📌 Обучение и результаты - Датасет: Objaverse (сотни тысяч 3D-объектов). - Обучение проходило в два этапа: сначала низкое разрешение и меньше треугольников, затем — более высокое качество и больше деталей. - RenderFormer воспроизводит реалистичные тени, отражения и освещённость. 📌 Ограничения и перспективы - Масштабирование на очень сложные сцены пока вызывает трудности. - Для работы требуются большие вычислительные мощности. - Но подход открывает путь к новому поколению технологий: от визуального синтеза и генерации видео до робототехники. https://www.microsoft.com/en-us/research/blog/renderformer-how-neural-networks-are-reshaping-3d-rendering/ @ai_machinelearning_big_data #RenderFormer#NeuralRendering#3DGraphics#MicrosoftResearch#Transformers#ComputerVision#GlobalIllumination