前面讲解了粒子的概念,我们知道nerf核心的步骤是计算出空间中粒子的密度和颜色,那么通过粒子的密度和颜色是如何生成最终的2D图像呢?这就涉及到nerf采用了图形学中一个很重要的技术——体渲染。
体渲染有以下特征:
- 和PBR,光线追踪等技术一样,它是渲染技术的分支
- 目的是解决云、烟、果冻等非刚性物体的渲染建模
- 将物质抽象成一团飘忽不定的粒子群
- 光线在穿过时,是光子跟粒子发生碰撞的过程
nerf中之所以采用体渲染技术,主要基于以下两点:
1、体渲染能够直接处理三维数据场中的离散数据点,并计算它们对最终渲染图像的贡献。也就是说只要知道光线的方向,和粒子在这个方向的分布,就可以在2D图像上渲染出对应的像素。
而nerf的一个关键特点就是能够使用不同视角的图像进行训练,并生成一致的三维场景表示。体渲染提供了一种自然的方式来处理多视角数据,因为它允许从任意视角投射光线并计算其在体积中的传播。这使得NeRF能够生成在不同视角下都保持一致的渲染结果。
2、同时体渲染技术能够生成高质量的渲染图像,具有逼真的光照、阴影和材质效果。通过模拟光线在体积中的传播和与物质的交互,体渲染能够捕捉到复杂场景中的细节和变化,从而生成令人信服的渲染结果。这对于NeRF来说非常重要,因为它需要生成高质量的渲染图像来验证其表示的准确性。
除了体渲染,