Post #1277

Артур Софин и Слава SAF делятся своим экспериментом с нейросетями для обработки игрового контента в реальном времени. Художники, уже использующие ранее Stream Diffusion, попробовали применить её в игровой сфере. Цель — создать нейрофильтр, который рендерит игры в реальном времени. В эксперименте использовались два компьютера, консоль Nintendo Switch и нейросети. Изображение с консоли через карту захвата обрабатывалось Depth Anything V2 для создания карты глубины, которая затем вместе с геймплеем отправлялась на второй ПК для обработки Stream Diffusion и ControlNet. Карта глубины здесь важна для сохранения чёткости изображения при стилизации. Хотя результат ещё очень поверхностный, технология обещает быстрый рендеринг с уникальным подходом — генерация происходит на основе шума, а не исходной графики. Ссылка на пост в канале Артура #re_project 😈Подписаться | Предложить пост