22、光场图像的高效渲染

光场图像的高效渲染

1. 系统概述

尽管光线追踪器中固有的大多数效果都可以在 GPU 的图形管道上模拟，比如通过环境映射实现反射，但广告公司几乎完全使用光线追踪的建模工具来制作内容。这可能是因为他们不想提前限制设计可能性，也可能是光线追踪器中许多现成的效果在 GPU 图形管道上渲染时更难实现。在 GPU 图形管道上渲染需要艺术家接受更多技术训练，还会增加 3D 模型的设计时间。

本文提出了一种从建模的 3D 场景中高效渲染密集高分辨率光场图像的方法。由于对光场显示的所有镜头图像进行全光线追踪不可行，可能需要数月时间，因此建议只对一小部分参考镜头图像进行光线追踪，其余的则利用深度补偿视图插值。

需要确定哪些显示元素携带最多信息，并将其选为参考视图。这些图像以全分辨率进行光线追踪，而对于其他镜头图像，只需从 3D 模型中渲染一部分深度图像。插值算法的输入是部分深度图像和少量选定的参考镜头图像，这为所有可能的 3D 建模工具提供了一个通用接口。

为了减少输入图像的数量，需要非常精确的几何信息，这使得算法对距离传感器和相机校准引入的几何误差很敏感。一些对几何误差有鲁棒性或根本不使用几何信息的基于图像的渲染算法，会通过采集大量光场样本，这与减少输入图像数量的目标相矛盾。

以下是该系统的主要步骤：
1. 从 3D 模型直接获取深度图像，并生成可见场景表面的视觉几何八叉树表示（光场节点 LFNs）。
2. 通过评估场景的可见表面来选择最佳下一个视图，并对最重要的参考镜头图像进行排序。
3. 对这些图像进行全光线追踪，并为每个 LFN 添加与视图相关的表面颜色，以四叉树形式存储。
4. 最后，通过简单的光线投射和视图