【CVPR20‘论文阅读】SuperGlue: Learning feature matching with graph neural networks

Sarlin, P.-E., DeTone, D., Malisiewicz, T., & Rabinovich, A. (2020). SuperGlue: Learning feature matching with graph neural networks. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 4938–4947. https://doi.org/10.1109/cvpr42600.2020.00499

摘要
这篇论文介绍了SuperGlue，这是一个通过共同找到对应关系并拒绝不匹配点来匹配两组局部特征的神经网络。通过解决一个可微的最优传输问题来估计分配，其成本由图神经网络预测。我们引入了一种基于注意力的灵活上下文聚合机制，使SuperGlue能够共同推理底层的3D场景和特征分配。与传统的手动设计的启发式方法相比，我们的技术通过对图像对进行端到端的训练，学习了几何变换和三维世界规律的先验知识。SuperGlue在挑战性的真实室内和室外环境中胜过其他学到的方法，在姿态估计任务上取得了最先进的结果。该方法在现代GPU上实时执行匹配，并可以轻松集成到现代的SfM或SLAM系统中。代码和训练权重公开在GitHub上：github.com/magicleap/SuperGluePretrainedNetwork。

图1：使用SuperGlue进行特征匹配。我们的方法从现成的局部特征建立了点对应关系：它充当了手工设计或学习的前端和后端之间的中间层。SuperGlue使用图神经网络和注意力来解决一个分配优化问题，并且优雅地处理了部分点的可见性和遮挡情况，生成了部分分配。