23、对称立体匹配处理遮挡问题

对称立体匹配处理遮挡问题

1. 引言

在立体视觉中，遮挡是一个重大挑战。对于两帧立体视觉，被遮挡的像素仅在一幅图像中可见。准确的深度和遮挡信息对于视觉和机器人领域的应用至关重要。在某些应用中，如3D建模和视图插值，立体算法不仅要估计正确的深度并检测可见区域的遮挡，还需对被遮挡区域的深度提供合理猜测。

1.1 以往工作

经典的密集两帧立体匹配在已知相机配置下，从具有不同视角的一对图像中计算密集视差或深度图。目前，最先进的方法主要基于全局能量最小化。通常使用两种硬约束：顺序约束和唯一性约束。
- 顺序约束 ：保持两个输入图像中扫描线的顺序。单调性约束是顺序约束的一种变体，要求相邻像素匹配。
- 唯一性约束 ：强制两幅图像中的像素一一对应。

大多数利用顺序或单调性约束的方法使用动态规划。立体匹配被表述为在对应扫描线的所有成对匹配成本矩阵中寻找最小成本路径。路径的“水平”和“垂直”不连续性分别对应左右遮挡。唯一性约束通常也用于简化动态规划的构建。

然而，这些约束存在显著局限性。顺序约束并非总是成立，在包含薄前景物体或窄孔的场景中会被违反，且只能独立应用于每条扫描线，缺乏极线间的平滑假设，结果常出现条纹伪影。使用视差的离散表示时，唯一性约束不适用于包含水平倾斜表面的场景，无法正确恢复视差和遮挡。

1.2 可见性约束

对于更一般场景中的遮挡，基本的可见性约束是有效的。该约束要求被遮挡的像素在另一幅图像中必须没有匹配，非遮挡像素必须至少有一个匹配。可见性约束比唯一性约束更灵活但更弱，它只强制一幅图像中的遮挡与另一