Новая нейросеть Apple делает реалистичные 3D-модели из одного изображения

Apple представила исследовательскую модель SHARP, которая позволяет строить фотореалистичное 3D-представление сцены по одной фотографии.

На официальной странице Apple Machine Learning Research говорится, что система за один проход нейросети восстанавливает параметры 3D Gaussian representation, после чего может в реальном времени отрисовывать новые ракурсы сцены.  

Главная особенность SHARP — скорость. Apple заявляет, что генерация такой 3D-сцены занимает меньше секунды на стандартном GPU, а итоговое представление поддерживает рендеринг близких ракурсов в высоком разрешении со скоростью более 100 кадров в секунду.

Для этой категории задач это важный шаг, потому что традиционно подобные методы требовали либо много снимков, либо заметно больше времени на обработку.

По данным Apple, модель показала zero-shot generalization на разных датасетах и превзошла предыдущие решения по нескольким метрикам качества изображения: LPIPS удалось снизить на 25–34%, а DISTS — на 21–43% по сравнению с лучшей предыдущей моделью.

Практически это означает, что технология может быть полезна для AR/VR, 3D-контента, визуализации товаров и других сценариев, где важно быстро получить правдоподобную трёхмерную сцену из минимального количества исходных данных.