CVPR 2021 | 针对全局 SfM 的高效初始位姿图生成

Efficient Initial Pose-graph Generation for Global SfM

作者：Daniel Barath, Dmytro Mishkin, Ivan Eichhardt, Ilia Shipachev, and Jiri Matas

论文地址：https://www.zhuanzhi.ai/paper/dec76db822ad03e66265875c7477bf49

摘要：我们提出了加速全局SfM算法的初始位姿图生成的方法。为了避免由 FLANN 形成暂定点对应关系和由 RANSAC 进行几何验证，这是位姿图创建中最耗时的步骤，我们提出了两种新方法——基于图像对（通常连续匹配）。因此，候选的相对姿态可以从部分构建的位姿图的路径中恢复。考虑到图像的全局相似性和位姿图边缘的质量，我们提出了 A* 遍历的启发式方法。给定来自路径的相对姿态，通过利用已知的对极几何，基于描述符的特征匹配变得“轻量级”。为了在应用 RANSAC 时加快基于 PROSAC 的采样，我们提出了第三种方法，根据先前估计的内点概率对对应项进行排序。该算法在来自 1D SfM 数据集的 402 130 个图像对上进行了测试，它们将特征匹配速度提高了 17 倍，姿态估计速度提高了 5 倍。

1 引言

SfM在计算机视觉中得到了几十年的深入研究。大多数早期的方法采用增量策略，逐步构建重建，并在过程中逐个仔细地添加图像[39, 36, 35, 1, 53, 41]。最近的研究[15, 16, 7, 26, 4, 9, 18, 33, 12, 8, 54]表明，全局方法在重建场景时同时考虑所有图像，比增量技术具有类似或更好的精度，同时更有显著效率。此外，全局方法也不太依赖于局部决策或图像排序。

通常，SfM的原理包括以下步骤，如图2所示。首先，在所有图像中提取特征。这个步骤很容易并行化，并且具有O(n)个时间复杂度，其中n是重建中要包含的图像的数量。然后，这些特征通常用于将图像对从最可能匹配到最难匹配的图像对排序，例如，通过视觉词袋 [43]。接下来，通过匹配检测到的特征点的通常高维（例如，128的SIFT[25]）描述符，在所有图像对之间产生试探性的对应。然后，通过应用RANSAC [14]来过滤对应关系并估计所有图像对之间的相对姿态。通常，特征匹配和几何估计步骤是迄今为止最慢的部分，两者都对图像的数量具有二次复杂度。此外，特征匹配具有二次最坏情况的时间复杂度，因为它取决于各自图像中特征数的乘积。最后，全局集束调整（BA）得到了成对位姿的精确重构。有趣的是，与初始的位姿图生成相比，这个步骤有可以忽略不计的时间需求，即，在我们的实验中需要几分钟。

图2 全局SfM的原理图

本文有三个主要贡献——三种新算法，可以消除基于RANSAC的几何估计的需要，并使基于描述的特征匹配“轻量级”。首先，提出了一种利用部分建立的位姿图来避免基于计算要求的基于RANSAC的鲁棒估计的方法。为此，我们为A∗[17]算法提出了一个启发式算法，即使没有视图之间的度量距离，它也可以指导路径查找。缺乏这样的距离源于这样一个事实，即位姿图的边缘表示相对位姿，因此，无论是全局尺度还是任何平移的长度都是已知的。其次，我们提出了一种通过使用由A∗确定的位姿来使耗时的基于描述符的特征匹配“轻量级”的技术。这种引导匹配方法使用基本矩阵有效地选择关键点，从而通过hashing与位姿一致的对应。第三，提出了一种算法，根据点对点对应的历史来自适应地重新排序——无论在之前的估计中，其中一个或两个点都不一致。该方法利用了这些嵌入的特征点可能代表与场景的刚性重建一致的三维点。这种自适应排序通过引导PROSAC [10]尽早找到一个好的样本，从而加快了鲁棒估计。在1D SfM数据集[52]上进行了测试，例如重建。它们持续而显著地加快了位姿图的生成。

1.1 相关技术

鲁棒估计。为了加速鲁棒估计，多年来提出了许多算法。NAPSAC [31]、PROSAC [10] 和 P-NAPSAC [6] 修改了 RANSAC 采样策略，以增加早期选择所有内点样本的概率。PROSAC 利用点的先验预测内点概率等级，并从最有希望的点开始采样。NAPSAC 建立在现实世界数据通常在空间上是一致的这一事实之上，并从局部邻域中选择样本，在这些邻域中，内点比率可能很高。P-NAPSAC 结合了 PROSAC 和 NAPSAC 的优点，首先在本地采样，然后逐渐融合到全局采样中。受 Wald 理论启发的序列概率比率测试 [11] (SPRT) 用于在优于先前最佳模型的概率低于阈值时尽早拒绝模型。所有提到的 RANSAC 改进都考虑了单个、孤立的两视图鲁棒估计的情况。在这里，我们利用在对图像对的某些子集进行估计时产生的信息，其中一些图像匹配不止