12、立体匹配：原理、现状与挑战

立体匹配：原理、现状与挑战

1. 引言

立体匹配是计算机视觉中至关重要的任务，在自动驾驶、无人机、道路状况评估、移动机器人导航和遥感等众多领域都有广泛应用。随着机器学习技术的发展，立体匹配算法在公共基准测试中取得了出色的精度，但仍存在一些挑战，如遮挡区域的视差估计和无监督训练等。

2. 单相机模型

2.1 透视相机模型

透视相机模型将世界中的观测点通过相机中心投影到成像平面。设相机中心为 (o^C)，成像平面为 (\Pi)，归一化成像平面为 (\hat{\Pi})，相机焦距为 (f)。对于相机坐标系（CCS）中的 3D 点 (p^C = [x^C, y^C, z^C]^T)，其在成像平面 (\Pi) 上的投影为 (\bar{p} = [x, y, f]^T)，它们之间的几何关系为：
[
\frac{x^C}{x} = \frac{y^C}{y} = \frac{z^C}{f}
]
(\hat{p}^C = [\frac{x^C}{z^C}, \frac{y^C}{z^C}, 1]^T) 是 (p^C) 在 (\hat{\Pi}) 上的归一化坐标，因此有：
[
\bar{p} = f\hat{p}^C = \frac{f}{z^C}p^C
]

2.2 内参矩阵

在透视相机模型中，成像平面 (\Pi) 上的点 (\bar{p} = [x, y, f]^T) 与其对应的图像像素 (p = [u, v]^T) 之间的关系为：
[
u - u_o = \alpha_x x, \quad v - v_o = \alpha_y y <