【论文笔记】基于图神经网络的多视角视觉重定位 GRNet CVPR 2020 论文笔记

GRNet: Learning Multi-view Camera Relocalization with Graph Neural Networks

驭势科技, 北京大学机器感知重点实验室, 北京长城航空测控技术研究所

• 本文提出了一种使用多视角图像进行相机重定位的图神经网络。

• 该网络可以使得不连续帧之间进行信息传递，相比于只能在相邻前后帧之间进行信息传递的 序列输入和LTSM，其能捕获更多视角信息以进行重定位。因此LSTM只是一种GNN的特殊情况。

• 为了让GNN能适应于重定位任务，作者重新设计了节点、边、嵌入函数，使用CNN和GNN分别用于特征提取和知识传播。

• 设计了一个通用的基于图的损失函数，超越了原来的连续视角约束，引入了多视角约束

为什么使用GNN呢？ 因为GNN可以处理非结构性输入。LSTM和视觉里程计可以提供前后相邻帧的时间一致性约束，且LSTM并不能保持长时间的记忆。而GNN可以提供不连续多视角帧之间的时间一致约束。

整体框架：

论文方法

1.重新设计GNN

• 节点：是一个3维的张量，每个节点$v_i$的特征$x_i\in R^{H\times W\times C}$

• 边初始化：初始化的时候连接所有的节点对，不放过任何可能的两个节点之间连接，后期会有边池化操作简化计算量

  这一步相比于LSTM的相邻节点相连具有优越性。

2.信息传播

• 首先使用CNN生成要从xi传播到xj的消息：
  $$m_{j\to i}=f_m(x_i,x_j)$$
  这里的fm是两层CNN，将xi和xj连接后输入fm得到传播消息

• 进行消息选择，其实就是计算边权重对边加权：
  aj→i=fatten(xi,xj)其中fatten是逐通道计算的余弦相似度cs：aj→i(k)=σ(cs(vec(xi(k)),vec(xj(k))))σ为归一化到01 a_{j→i}=f_{atten}(x_i,x_j)\\其中f_{atten}是逐通道计算的余弦相似度cs：\\a^{(k)}_{j→i}=σ(cs(vec(x^{(k)}_i),vec(x^{(k)}_j)))\\\sigma 为归一化到01 aj→i​=fatten​(xi​,xj​)其中fatten​是逐通道计算的余弦相似度cs：a