13、立体匹配技术全解析：从基础原理到多视图应用

立体匹配技术全解析：从基础原理到多视图应用

1. 立体匹配概述

立体匹配是通过在两张或多张图像中寻找匹配像素，并将其二维位置转换为三维深度，从而估计场景三维模型的过程。人们对立体匹配感兴趣，源于视觉感知中左右眼外观差异可用于感知深度。在简单成像配置下，水平运动或视差与观察者距离成反比，但自动测量视差是一项具有挑战性的任务。

立体匹配算法在摄影测量和计算机视觉领域都有重要应用。在摄影测量中，早期用于自动构建地形高程图，提高了航空影像处理的速度和效率；在计算机视觉中，可用于模拟人类视觉系统、机器人导航、视图插值、3D 模型构建等。

2. 极线几何

2.1 极线原理

给定一幅图像中的一个像素，可利用拍摄同一场景的相机位置和校准数据，将其投影到另一幅图像中的极线线段上。极线是两个图像平面与通过两个相机中心和感兴趣点的极平面的交线。通过极线几何，可以减少潜在对应点的数量，提高匹配速度和可靠性。

2.2 图像校正

图像校正可将输入图像进行变形，使对应的水平扫描线成为极线。这样可以独立匹配水平扫描线或水平移动图像来计算匹配分数。一种简单的校正方法包括以下步骤：
1. 旋转两个相机，使其视线垂直于连接相机中心的直线。
2. 扭转光轴，使每个相机的水平轴指向另一个相机的方向。
3. 必要时，放大较小的图像以使其分辨率与另一个图像相同。

校正后，3D 深度 Z 和视差 d 之间存在简单的反比关系：
[d = \frac{fB}{Z}]
其中，f 是焦距（以像素为单位），B 是基线。视差图 d(x, y) 的估计成为从一组图像中提取深度的任务