RTXNTC：实时神经纹理压缩，提升渲染效率

RTXNTC：实时神经纹理压缩，提升渲染效率

RTXNTC NVIDIA Neural Texture Compression SDK 项目地址: https://gitcode.com/gh_mirrors/rt/RTXNTC

项目介绍

RTXNTC（Neural Texture Compression）是一个由NVIDIA开发的开源算法，旨在通过神经网络技术对PBR（Physically Based Rendering）纹理进行高效压缩。该算法能够将一个材料所需的全部纹理通道压缩到一个NTC纹理集中，尤其适用于纹理通道之间存在相关性的场景，例如，当漫反射纹理的细节与法线纹理的细节相对应时。RTXNTC支持最多16个纹理通道的压缩，而典型的PBR材料通常包含9-10个通道。

项目技术分析

RTXNTC的核心在于将原始纹理数据转换为一个小的神经网络（解码器）的权重和一个特征张量。特征张量通过解码器进行采样和传递，以重建纹理颜色。这个过程足够快速，可以直接在着色器中使用，如基础通道像素着色器或光线追踪击中着色器。然而，解码器仅针对单个像素点产生未过滤的数据，为了获得过滤后的纹理，建议将NTC与随机纹理过滤（Stochastic Texture Filtering, STF）结合使用。

NTC算法在压缩时采用了神经网络的权重和小型张量，这些权重在压缩过程中确定，并存储在压缩包中。这一过程不仅显著降低了数据的大小，而且在解压缩时能够提供高质量的纹理重建。

项目技术应用场景

RTXNTC适用于多种场景，特别是在对渲染性能和纹理质量有高要求的3D渲染和游戏开发中。以下是一些具体的应用场景：

• 游戏渲染：游戏中的材质和纹理通常包含多个通道，NTC可以帮助减少纹理数据的大小，从而降低内存占用和带宽需求。
• 实时渲染：对于实时渲染引擎，如虚幻引擎或Unity，使用NTC可以提升渲染性能，尤其是在移动设备或低性能硬件上。
• 虚拟现实（VR）：在VR应用中，降低纹理数据的大小可以减少对GPU的压力，提供更流畅的体验。

项目特点

1. 高压缩率：NTC能够将多个纹理通道压缩到一个纹理集中，显著降低数据的大小，减少存储和传输成本。
2. 质量保证：在压缩过程中，NTC算法能够保证较高的图像质量，与传统的块压缩格式相比，PSNR值通常在40到50 dB之间。
3. 灵活配置：用户可以根据需要调整压缩的参数，包括通道数量、分辨率和位深，以适应不同的质量需求。
4. 硬件加速：NTC可以利用最新的硬件特性，如协同向量扩展，为Vulkan和DirectX 12提供2-4倍的推理吞吐量提升。
5. 向后兼容：即使在较旧的硬件上，NTC也能提供基本的压缩和解压缩功能，尽管性能可能较低。

以下是NTC在不同压缩设置下的性能对比：

| 压缩方式 | 磁盘大小 | PCI-E传输 | VRAM大小 | |:--------|:-------:|:--------:|:-------:| | 原始图像 | 32.00 MB | 32.00 MB | 32.00 MB | | BCn压缩 | 10.00 MB | 10.00 MB | 10.00 MB | | NTC加载 | 1.52 MB | 1.52 MB | 10.00 MB | | NTC采样 | 1.52 MB | 1.52 MB | 1.52 MB |

总结来说，RTXNTC为3D渲染和游戏开发提供了一个高效且质量可靠的纹理压缩方案，有助于提升性能，降低资源消耗，是现代图形渲染中不可或缺的工具。

RTXNTC NVIDIA Neural Texture Compression SDK 项目地址: https://gitcode.com/gh_mirrors/rt/RTXNTC