NVIDIA показала технологию Neural Texture Compression для сильного снижения веса текстур

NVIDIA представила Neural Texture Compression — технологию нейросетевого сжатия текстур, предназначенную для снижения требований к памяти и хранению графических данных.

В описании технологии говорится, что она ориентирована на компрессию material textures и позволяет выполнять декомпрессию в реальном времени с произвольным доступом, то есть в формате, пригодном для графических приложений и игр.

В опубликованной демонстрации и пересказах презентации указывается, что технология может резко сократить объём памяти, необходимый для текстур, вплоть до примерно 85% в одном из показанных сценариев.

При этом сама идея Neural Texture Compression состоит не только в уменьшении объёма данных, но и в сохранении высокого качества изображения за счёт отдельной нейросети, обученной под конкретный набор материалов.

В материалах NVIDIA также подчёркивается, что их подход позволяет использовать большее количество texels при низком битрейте.

В исследовательском описании говорится о двух дополнительных уровнях детализации, то есть о 16-кратном росте числа texels по сравнению с базовым сравнением, при качестве, которое в демонстрации оказалось выше, чем у современных методов сжатия изображений вроде AVIF и JPEG XL.

Если технология дойдёт до практического внедрения в игровые движки, это может напрямую повлиять на использование VRAM в современных играх.

На фоне роста требований к текстурам и памяти это выглядит как один из возможных путей снижения нагрузки без отказа от высокого качества материалов.