Multi-camera visual SLAM for off-road navigation

1. 发展

1. 目前，全景视觉系统可分为三大类：折反射视觉系统、鱼眼视觉系统和多摄像机视觉系统。相应的SLAM系统被分为三类。前两种类型的全景系统出现得比较早，对SLAM的相关研究也比较多。作为每个类别的示例，Scaramuzza等人使用折反射系统来估计车辆的二维运动；Cremer和同事提出了一种全方位鱼眼相机的实时直接单目SLAM算法。
2. Pless等人提出了广义摄像机模型、相应的广义极线约束和广义点重构。Stewénnius等人提出了广义本质矩阵的一个极小解，它可以得到一个具有六对匹配点系统的6自由度姿态。为了进一步减少计算系统姿态时对匹配点数的要求，并结合RANSAC算法得到更合适的方法，Gim等人提出了一种基于地面车辆Ackermann约束的两点算法。他们还以此为基础设计了一个SLAM系统，并实现了无人地面车辆的SLAM系统。
3. 最新的SLAM系统估计是基于非线性优化，间接SLAM系统的相应算法是bundle adjustment（BA）。
4. Sharf group使用了多个超广角摄像头来协助无人机在空中的视觉定位，使其适应纹理稀疏的复杂环境。他们对多摄像机系统的PTAM进行了改进，提出了MCPTAM。他们在系统中引入了Taylor相机模型，设计了多关键帧结构和相应的束平差图结构，并改进了PTAM算法框架中的部分细节。MCPTAM可用于无重叠视场的多摄像机系统定位。如果多摄像机系统同时触发，并且摄像机之间存在重叠的视场，MCPTAM还可以实现具有度量尺度的定位和地图构建。利用棋盘等先验信息，MCPTAM还可以对多摄像机系统的内外参数进行标定。在他们的后续工作中，MCPTAM的框架得到了进一步改进[26]。之后，他们改进了MCPTAM的规模恢复。即使摄像机具有非重叠的视场，改进的MCPTAM也可以用尺度估计非退化运动的状态。然而，MCPTAM的初始化对环境做了一些很强的假设，严格限制了它的应用。
5. Yang等人提出了一种高效的全景SLAM方案，以降低对计算机性能的要求。他们在一架无人驾驶飞机上安装了一个前置摄像头和一个下行摄像头。为了减少匹配的计算量，摄像机的地图被完全分离。该系统不匹配来自不同摄像机的图像点，而该SLAM系统中摄像机之间唯一的关系就是它们的姿态变换关系。与MCPTAM相比，它们在PTAM的各个方面都有了较大的改进。他们采用快速角点检测和简单描述子相结合的方法，提高了点匹配的精度，使系统具有更强的鲁棒性。在[29]中，他们引入了基于BoW的SLAM系统环路检测，使得系统状态估计具有全局一致性。由于对摄像机信息的分离处理，SLAM系统无法在未知环境下用米制尺度估计无人机和周围环境的状态。实际上，SLAM系统在标准直升机着陆垫的帮助下初始化公制地图。
6. Seok等人提出了一种使用大视场宽基线多摄像机系统的全向视觉里程测量系统[30]。多摄像头系统安装在一辆汽车的车顶上。提出了一种混合投影模型，使扭曲图像连续、平滑，并将混合模型、球检测器和匹配器相结合，对相邻摄像机捕捉到的不同图像进行特征匹配。他们使用KLT跟踪算法来进行视内特征处理，这比描述符匹配方法更有效。他们还提出了一种多视角P3P-RANSAC鲁棒姿态估计算法。为了解决相机因冲击、振动和热而引起的变形和运动，他们在优化过程中进行了在线外标定。由于基线较宽，其系统能够在大尺度环境下高精度地估计系统姿态
7. Urban等人将ORB-SLAM扩展到多摄像机系统版本，并提出了Multicol-SLAM [31]。该系统