48、立体匹配技术全解析

立体匹配技术全解析

1. 极线几何

在立体匹配中，当我们已知一张图像中的一个像素，如何计算它在另一张图像中的对应像素呢？在立体匹配场景下，我们拥有拍摄同一静态场景的相机的位置和校准数据等额外信息，可利用这些信息减少潜在对应关系的数量，从而加快匹配速度并提高可靠性。

极线几何中，一张图像中的像素 $x_0$ 会投影到另一张图像中的极线线段上。该线段一端由原始视射线在无穷远处的投影 $p_{\infty}$ 界定，另一端由原始相机中心 $c_0$ 在第二个相机中的投影（即极点 $e_1$）界定。若将第二张图像中的极线投影回第一张图像，会得到另一条线段，由另一个对应极点 $e_0$ 界定。将这两条线段延伸至无穷远，就得到一对对应的极线，它们是两个图像平面与通过两个相机中心 $c_0$ 和 $c_1$ 以及兴趣点 $p$ 的极平面的交线。

1.1 校正

一对相机的极线几何隐含在相机的相对姿态和校准中，可通过七个或更多点匹配使用基本矩阵（或五个或更多点用于校准的本质矩阵）轻松计算。计算出极线几何后，可利用一张图像中像素对应的极线来约束在另一张图像中寻找对应像素的搜索范围。

一种方法是使用通用的对应算法，如光流法，但只考虑极线上的位置。更高效的算法是先对输入图像进行校正（即变形），使对应的水平扫描线成为极线。校正后，可独立匹配水平扫描线，或在计算匹配分数时水平移动图像。

简单的校正方法如下：
1. 旋转两个相机，使其视线垂直于连接相机中心 $c_0$ 和 $c_1$ 的直线，使用能实现此目的的最小旋转。
2. 确定绕光轴的所需扭转，使上向量（相机的 $y$ 轴）垂直于相机中心线，确保对应的极线是水平的，且无穷