23、对称立体匹配以处理遮挡问题

对称立体匹配以处理遮挡问题

1. 引言

在立体视觉中，遮挡是最大的挑战之一。对于两帧立体视觉，被遮挡的像素仅在一幅图像中可见。准确的深度和遮挡信息对于视觉和机器人领域的应用至关重要。在某些应用中，如 3D 建模和视图插值，立体算法不仅要在可见区域估计正确的深度并检测遮挡，还要对被遮挡区域的深度做出合理猜测。

1.1 以往工作

经典的密集两帧立体匹配在已知相机配置下，从具有不同视角的一对图像中计算密集视差或深度图。目前，最先进的方法主要基于全局能量最小化。通常使用两种硬约束：排序约束和唯一性约束。
- 排序约束 ：保留两个输入图像中沿扫描线的顺序。单调性约束是排序约束的一种变体，要求相邻像素匹配。
- 唯一性约束 ：强制两个图像中的像素进行一对一映射。

大多数利用排序或单调性约束的方法使用动态规划，将立体匹配表述为在对应扫描线的所有成对匹配成本矩阵中寻找最小成本路径。路径的“水平”和“垂直”不连续性分别对应左右遮挡。唯一性约束通常也用于简化动态规划的构建。

然而，排序和唯一性约束存在显著局限性。排序约束并非总是成立，在包含薄前景物体或窄孔的场景中会被违反，且只能独立地对每条扫描线执行，结果常出现条纹状伪影。使用视差的离散表示时，唯一性约束不适用于包含水平倾斜表面的场景，无法正确恢复视差和遮挡信息。

1.2 可见性约束

对于更一般场景中的遮挡，基本的可见性约束是有效的。该约束要求被遮挡的像素在另一幅图像中必须没有匹配，而非被遮挡的像素必须至少有一个匹配。可见性约束直接源自遮挡的定义，与唯一性约束不同，它