39、多相机视觉：从基础算法到应用实践

多相机视觉：从基础算法到应用实践

在多相机视觉领域，有许多关键的算法和技术，它们在三维重建、场景建模等方面发挥着重要作用。下面将详细介绍这些内容。

1. 基础矩阵求解算法

基础矩阵包含七个自由度，理论上可以使用仅七对点来求解，这就是七点算法。不过，该算法较为复杂，因为它依赖于七个线性约束和非线性约束 $\det[F] = 0$。但如果只需要七个点，使用随机抽样一致性（RANSAC）算法可以更高效地计算出鲁棒的解。

当已知相机的内参时，还可以使用最少五点的解法来计算本质矩阵，进而得到相机的相对方位。这种方法基于观测对应点的五个线性约束和本质矩阵九个参数的非线性约束。在 RANSAC 算法中，该方法估计速度更快，并且对场景点的非一般配置具有鲁棒性。

2. 图像校正

前面的步骤得到的是两幅图像之间的一组稀疏匹配点，这对于某些任务（如导航）可能足够，但如果要构建场景的精确模型，就需要进行密集立体重建，即估计图像中每个点的深度。

密集立体重建算法通常假设对应点位于另一幅图像的同一水平扫描线上。图像校正的目标就是预处理图像对，使这一假设成立，也就是将图像进行变换，让每条对极线都呈水平状，并且与某一点相关的对极线落在另一幅图像中该点所在的同一扫描线上。下面介绍两种不同的校正方法。

2.1 平面校正

当相机运动纯粹是水平的，且两个图像平面都垂直于 $w$ 轴时，对极线自然是水平且对齐的。平面校正的关键思想就是对两幅图像进行处理，重现这种观测条件。通过对两幅图像应用单应性变换 $\Phi_1$ 和 $\Phi_2$，使它们以期望的方式切割各自的光线束。

具体步骤如下： <