56、基于图像的渲染技术详解

基于图像的渲染技术详解

在过去二十年里，基于图像的渲染已成为计算机视觉中最令人兴奋的应用之一。它结合了计算机视觉的 3D 重建技术和计算机图形渲染技术，利用场景的多个视图来创造交互式的逼真体验。下面将详细介绍几种基于图像的渲染技术。

1. 视图插值

视图插值是基于图像渲染的基础技术之一，它使用一个或多个预计算的深度图在一对参考图像之间创建无缝过渡。这项技术结合了计算机视觉和计算机图形学中的两个重要概念：一是将恢复的深度图与参考图像配对，然后使用生成的纹理映射 3D 模型生成新视图；二是变形技术，通过图像对之间的对应关系将每个参考图像变形到中间位置，并在两个变形图像之间进行交叉溶解。

1.1 视图插值的具体步骤

1. 图像变形 ：使用参考和虚拟 3D 相机的位姿信息以及每个图像的深度图，将两个源图像变形到新视图。通常采用前向变形算法，深度图以四叉树形式表示，以提高空间和渲染时间效率。
2. 冲突解决 ：在前向变形过程中，多个像素可能会落在同一目标像素上。可以通过为每个目标像素关联 z - 缓冲区深度值，或者根据对极几何知识按从后到前的顺序变形图像来解决冲突。
3. 图像合并 ：将两个变形后的参考图像合并成一个连贯的合成图像。当其中一个图像有洞时，使用另一个图像的值；当两个图像都有像素时，根据虚拟相机和源相机之间的相对距离进行混合。
4. 洞填充 ：填充由于前向变形过程或源数据不足导致的剩余洞或裂缝。可以通过复制洞相邻较远的像素来完成，以避免前景对象