【论文笔记】特征点匹配网络 SuperGlue: Learning Feature Matching with Graph Neural Networks 2019 论文笔记

Magic Leap, ETH Zurich

提出了特征点匹配网络SuperGlue，寻找两幅图像局部特征点之间的对应关系的神经网络，该网络使用图神经网络预测损失。

搭配super point在室内外重定位任务中达到SOTA的精度。

论文方法：

首先输入图像对记为A，B，各包含了关键点和局部描述子，因此是集合形式{(p,d)}

p=(x,y,c)是关键点，其中c是置信度；d是描述子，本文中是superpoint。

网络结构介绍：

1.图神经网络

​ 借鉴人眼反复匹配的过程：注意力+反复迭代+上下文信息，因此使用注意力图神经网络作为第一个模块，允许图像间、图像间的长距离信息融合。

• 关键点编码：这一步是图神经网络节点 i 的初始化步骤：
  $${}^{(0)}{x}_i=d_i+ML{P}_{enc}(p_i)$$
  同时编码了位置信息 p和视觉信息d

• 该网络为多路复用图神经网络，其节点由两幅图的特征点共同组成。

  连接同一图像上两个节点的边为内边，其集合记为${ϵ}_{self}$，

  连接了来自两个不同图像的特征点的边的集合称为${ϵ}_{cross}$

  迭代更新A中的节点：
  $${}^{(\ell +1)}{x}_i^A{=}^{(\ell )}{x}_i^A+MLP([$$