NNnet: Camera Relocalization by Computing Pairwise Relative Poses Using CNN，2017论文

芬兰阿尔托大学，印度德里工业技术学院，相机重定位

第一个使用相对位姿信息进行相机视觉重定位的方法。感觉论文中的inlier count的方法与候选投票的思想有点神似，当然这应该也是图像检索领域经常用到的思想。本文核心的贡献在于：模型中使用的是相对位姿，学习到的参数在场景之间可通用的可传递的，最后通过pipeline计算得到绝对位姿。因此训练出的模型可以泛化到unseen的场景中，而不需要提前在该场景数据集中训练

总结：

文章提出了一种基于深度学习的相机重定位方案。模型使用CNN从数据库中查找与查询图像相似的图像，并预测两张图像之间的相对位姿。使用基于RANSAC的三角测量方法得到查询图像中相机的位置和朝向。CNN使用端到端训练，可以很好的泛化到未知场景中。

同时还发布了一个室内定位数据集，包含5个场景。

研究介绍：

相机重定位技术在自动驾驶、运动结构重建（SFM）、AR以及SLAM中扮演者着重要角色。

主要有两种研究方向：

1. point-based：

   通过SIFT、ORB等特征描述子表达局部特征并进行对应点匹配。对于SFM问题使用３D点云进行２D－３D匹配来获得６ＤｏＦ的相机位姿。使用底层特征的特性使得该方法容易受到光照、少纹理、遮挡的影响，鲁棒性不好

2. machine-learning based:

   比如 scene coordinate regression forest (SCoRF) 方法已经被成功应用，然而该法要求训练时有对应的深度图数据，因此应用条件相对苛刻

3. deep-learning based：

   将该任务看作回归问题，使用CNN进行相机重定位。由预训练的CNN直接预测相机位置。基于深度学习的方法克服了point-based的很多问题，但仍然有约束：当场景中方坐标系不同时，要想CNN直接预测相机的绝对位姿，需要将CNN分场景训练好然后应用到任务中。造成约束的原因