CamNet: Coarse-to-Fine Retrieval for Camera Re-Localization 论文笔记

商汤、香港大学、港中文，RGB相机重定位，2019.6

1.摘要

本文模型针对的是相机重定位任务，基于检索的模型被认为是比较有潜力的方向，因为可以很容易的泛化到其他场景。作者观察到现有方法的瓶颈在于检索模块：这些方法对检索和相关姿势回归任务都使用相同的特征，这对学习有潜在的影响。

本文提出一种基于由粗到细检索的深度学习框架，包括：基于图像的粗检索，基于位姿的细检索，精细的相对位姿回归。

最后在室内室外数据集上均达到了SOTA的性能

2.简介 && 相关工作

• 传统方法基于手工提取的特征，通过多视角的几何约束来优化特征点之间的对应关系。 但是，这些方法在弱纹理、光照变化，遮挡，重复结构场景下性能欠佳，计算量大。
• 基于随机森林的方法建立2D-3D的对应关系以对相机位姿进行恢复，并通过RANSAC方法进行优化求解。
• 基于深度学习的方法直接从RGB图像中预测相机位姿， 这些模型利用深度网络的表达能力对场景进行记忆，这也意味着他们在新场景下必须被重新训练，因此泛化能力不够。
• 其他类型的深度学习方法构建了一个数据库，包括目标场景的图像特征及其对应的真实世界位姿。对于给定的检索图像，其首先在数据库中检索最相似的图像，然后对相对位姿变换进行预测。但是，之间检索到最优的匹配是困难的，不好的匹配会降低后面的相对位姿回归的性能。

本文方法属于最后一种，并解决了寻找最优匹配困难的问题。采取有粗到细的策略来逼近最优检索结果

现有的检索的方法使用共享特征进行图像检索和姿势回归。作者认为这是不合理的，因为图像检索模型应该侧重于 学习场景的相似性，而忽略摄像机视角的细微变化，而姿态回归模型则需要识别 成对图像之间视角变化的细微差异。因此，这两个任务在学习上有潜在的冲突，如果所有的特征都共享的话，可能会对彼此产生不良影响。

做出的改进：设计了一个孪生网络，它有三个分支，分别用于基于图像的粗检索、基于姿态的精细检索和相对姿态回归。只有网络的编码器是共享的，而三个任务都有自己的分支，三个任务可以端到端的方式共同学习。

本文贡献：

1. 设计了孪生网络camnet
2. 提出了新的检索损失和两级检索方法，进一步提高了摄像机重新定位的精度
3. 获得SOTA的结果

3.论文方法

总览

Camnet是一个孪生网络，输入是一组重叠的成对图像。包括三个模块：

1. 基于图像的粗检索（image-based coarse retrieval module (ICR)）
2. 基于位姿的细检索（pose-based fine retrieval module (PFR)
3. 精细的相对位姿回归（ precise relat