4、室内宽基线多相机大视差校准方法

室内宽基线多相机大视差校准方法

一、引言

随着基于视觉的人机交互及应用对多相机视角融合需求的增加，多相机校准技术市场不断扩大。然而，在大视差和宽基线场景下，解决多相机的位姿问题颇具挑战。

传统相机内参校准采用张正友标定法，该方法仅需一块校准板，能高精度、高鲁邦性地获取相机内参。对于相机位姿估计，传统上使用运动恢复结构（SFM）方法，先通过SIFT等特征提取算法提取关键点，再利用kd - tree模型计算欧氏距离匹配特征点，最后用多视图几何求解相机位姿。

但SFM方法仅适用于小视差和窄基线场景。在工业环境中，为节省成本，相机常静态且稀疏分布，导致相机视图间视差大、基线宽。在体育馆或报告厅等室内场景中，SFM方法表现不佳。宽基线相机网络因不同相机视角下光照和纹理变化，难以检测和匹配特征点。虽然可将校准板置于相机重叠区域提供图像特征点，但校准板定位困难，非专业人员难以准确记录校准数据。

我们考虑基于图像中的消失点确定相机位姿。室内场景具有标准曼哈顿世界特征，检测图像中的线段比匹配特征更容易。

二、相关工作

现有的多相机校准方法可分为两类：
1. 特征匹配方法 ：传统方法依赖局部特征，如在宽基线立体管道中使用SIFT、BRIEF、ORB等提取局部特征。近年来，许多深度学习方法利用神经网络解决特征点检测和描述问题。还有利用语义信息解决匹配问题的方法，在一般窄基线场景下精度通常不低。但在我们的宽基线多相机校准任务中，这些方法在特征点匹配上存在挑战。
2. 端到端解决方案 ：如PoseNet，利用卷积神经网络进行相机位姿回归。此后有论文