NVIDIA показала технологію Neural Texture Compression для сильного зменшення ваги текстур

NVIDIA представила Neural Texture Compression — технологію нейромережевого стиснення текстур, призначену для зменшення вимог до пам’яті та зберігання графічних даних.

В описі технології зазначається, що вона орієнтована на компресію material textures і дає змогу виконувати декомпресію в реальному часі з довільним доступом, тобто у форматі, придатному для графічних застосунків та ігор.

У опублікованій демонстрації та переказах презентації вказується, що технологія може різко скоротити обсяг пам’яті, необхідний для текстур, аж приблизно до 85% у одному з показаних сценаріїв.

Водночас сама ідея Neural Texture Compression полягає не лише у зменшенні обсягу даних, а й у збереженні високої якості зображення завдяки окремій нейромережі, навченої під конкретний набір матеріалів.

У матеріалах NVIDIA також наголошується, що їхній підхід дає змогу використовувати більшу кількість texels за низького бітрейту.

У дослідницькому описі йдеться про два додаткові рівні деталізації, тобто про 16-кратне зростання кількості texels порівняно з базовим порівнянням, при якості, яка в демонстрації виявилася вищою, ніж у сучасних методів стиснення зображень на кшталт AVIF і JPEG XL.

Якщо технологія дійде до практичного впровадження в ігрові рушії, це може безпосередньо вплинути на використання VRAM у сучасних іграх.

На тлі зростання вимог до текстур і пам’яті це виглядає як один із можливих шляхів зниження навантаження без відмови від високої якості матеріалів.