9、立体匹配：基础、现状与挑战

立体匹配：基础、现状与挑战

1. 立体视觉基础

1.1 立体校正

一对同步相机可用于3D场景重建，这涉及确定左右图像之间的对应像素。然而，在2D图像空间中寻找对应像素对（光流估计）非常耗时。对于校准良好的立体视觉系统，已知旋转矩阵 $\mathbf{R}$、平移向量 $\mathbf{t}$、左相机内参矩阵 $\mathbf{K}_L$ 和右相机内参矩阵 $\mathbf{K}_R$，可将搜索范围沿极线缩小到1D。

当满足 $\mathbf{R} = \mathbf{I}$，$\mathbf{t} = [T, 0, 0]$ 时，可进行立体校正，将两条极线水平对齐。将该条件代入相关公式可得：
$\mathbf{E} = [\mathbf{t}]_{\times}\mathbf{R} = \mathbf{t} \times \mathbf{R} =
\begin{bmatrix}
0 & 0 & 0 \
0 & 0 & -T \
0 & T & 0
\end{bmatrix}$

考虑归一化点 $\hat{\mathbf{p}}_L^C = [x_L, y_L, 1]$ 在左相机坐标系（LCCS）和 $\hat{\mathbf{p}}_R^C = [y_R, y_R, 1]$ 在右相机坐标系（RCCS）的对应关系，应用上述结果可得：
$\hat{\mathbf{p}}_R^{C^T} \mathbf{E} \hat{\mathbf{p}}_L^C = [x_L, y_L, 1][0, -T, T \times y_R]^T = T \times