2、图像渲染与变形技术：从光学流到图像插值的全面解析

图像渲染与变形技术：从光学流到图像插值的全面解析

1. 光学流计算与GPU实现

在图像渲染过程中，光学流计算是一个关键环节，但它在混合步骤之前的非线性优化计算量极大，难以提前充分计算。因此，为了实现即时反馈，需要实时计算整个渲染部分。

几何表示可以有多种类型，如三角形网格、体素表示或深度图。不过，由于2.5D场景表示的限制，使用单深度图时可能无法始终正确处理遮挡问题。

以下是GPU实现的具体步骤：
1. 查询最近相机位置 ：给定一个新的视点，查询最近的相机位置。对于稀疏相机布置，通常选择两个或三个最近的输入图像。
2. 渲染深度图 ：从相机的视点将几何模型渲染到不同的深度缓冲区，得到深度图。
3. 建立可见性映射 ：使用这些深度图为每个相机建立当前视点的二进制可见性映射。
4. 运行软可见性着色器 ：将可见性映射作为软可见性着色器的输入，该着色器可以在两遍片段着色器中高效实现。
5. 计算权重图 ：根据无结构发光图加权方案计算每个输出像素的相机权重，建立权重图。
6. 获取最终相机权重 ：将权重图与可见性映射相乘并归一化结果，得到输出图像中每个像素的最终相机权重。
7. 创建光流计算的输入图像 ：从所需的视点将几何代理渲染到多个渲染目标，将每个输入照片投影到几何上。如果特定相机对某个像素的权重为0，则使用该位置权重最高的输入相机的颜色。
8