Post #9256

🍏Apple представила SHARP - фотореалистичный 3D генератор из одного изображения SHARP - это исследовательский проект Apple, который умеет создавать фотореалистичные новые ракурсы сцены, имея всего одну фотографию. Нейросеть за один проход предсказывает 3D-сцены в виде гауссианов. Полученную 3D-сцену можно: - рендерить в реальном времени - получать высококачественные изображения с близких ракурсов - двигать камеру в реальных метрических координатах Главные фишки: - используется метрическое 3D-представление с абсолютным масштабом - поддерживаются реальные движения камеры - модель работает zero-shot, без дообучения на новых датасетах Модель устанавливает новый уровень качества сразу на нескольких наборах данных: - метрика LPIPS улучшена на 25–34% - метрика DISTS улучшена на 21–43% по сравнению с лучшими предыдущими моделями При этом время генерации снижено в тысячи раз. SHARP показывает, насколько далеко продвинулись методы 3D-реконструкции и view synthesis — и как быстро такие технологии начинают работать в реальном времени, а не только в лаборатории. ▪Github: https://github.com/apple/ml-sharp ▪HF: https://huggingface.co/apple/Sharp ▪Демки: https://apple.github.io/ml-sharp/ @ai_machinelearning_big_data #apple#llm#ai#ml