Нова нейромережа Apple робить реалістичні 3D-моделі з одного зображення

Apple представила дослідницьку модель SHARP, яка вміє створювати фотореалістичне 3D-представлення сцени лише з одного зображення.

На офіційній сторінці Apple Machine Learning Research зазначено, що система за один прохід нейромережі відновлює параметри 3D Gaussian representation, після чого може в реальному часі відтворювати сцену з нових ракурсів.  

Ключова перевага SHARP — швидкість роботи.

Apple стверджує, що побудова такої 3D-сцени займає менше секунди на стандартному GPU, а готове представлення підтримує рендеринг близьких ракурсів у високій роздільності зі швидкістю понад 100 кадрів за секунду.

Для подібних задач це важливий прорив, адже раніше для цього часто потрібні були або численні фото, або значно довша обробка.  

За даними Apple, модель демонструє zero-shot generalization на різних датасетах і перевершує попередні рішення за кількома метриками якості.

Компанія вказує на зниження LPIPS на 25–34% і DISTS на 21–43% відносно найкращої попередньої моделі.

На практиці це може бути корисно для AR/VR, створення 3D-контенту, візуалізації товарів та інших сценаріїв, де потрібно швидко отримати правдоподібну тривимірну сцену з мінімуму вхідних даних.