9、立体匹配：基础、现状与挑战

立体匹配：基础、现状与挑战

1. 立体视觉基础

1.1 立体校正

一对同步相机可用于 3D 场景重建，这涉及确定左右图像之间的对应像素。然而，在 2D 图像空间中寻找对应像素对（光流估计）非常耗时。对于校准良好的立体视觉系统，已知相关参数后，搜索范围可沿极线缩小到 1D。

当满足关系 (R = I)，(t = [T, 0, 0]) 时，进行立体校正，这是一种图像变换过程，可使两条极线水平对齐。将该关系代入相关公式可得：
[E = [t]×R = t × R =
\begin{bmatrix}
0 & 0 & 0 \
0 & 0 & -T \
0 & T & 0
\end{bmatrix}]

考虑归一化点的对应关系，应用上述结果可得出，对应点具有相同的 (y) 坐标，搜索范围进一步简化为水平行。

立体校正主要包括以下步骤：
1. 使用 (R) 使右相机相对于左相机定向，确保右图像平面与左图像平面平行。
2. 将右相机旋转 (R_{rect})，使左极点位于无穷远处。
3. 对右相机再次应用相同旋转，恢复初始极线几何。
4. 缩放左右图像，确保立体相机具有相同的等效内参矩阵。

校正后，两个图像平面共面，共轭极线共线且平行于水平图像轴，寻找对应对的过程简化为 1D 水平搜索问题。

1.2 立体视觉系统

校正后的立体视觉系统中，相机呈平行配置，左右相机可视为相同，其内部矩阵为：
[K_L = K_R =
\begin