【论文笔记】视觉重定位 场景坐标回归 Camera Relocalization by Exploiting Multi-View Constraints 2019

Camera Relocalization by Exploiting Multi-View Constraints for Scene Coordinates Regression

研究机构：阿德莱德大学

本文提出了基于场景坐标回归网络的相机重定位方法，在DSAC++的基础上显式的引入了多视角几何约束，其实就是在训练阶段使用图像对作为输入，并重新设计了三个损失函数，和DSAC++的重投影误差结合，加快了训练的收敛速度，且在室内外数据集上达到了优于DSAC++（无3Dmodel）的精度,但是仍然劣于DSAC++（有3Dmodel）。

论文方法 

1.场景坐标回归

场景坐标回归网络和DSAC++一样，记为w,其输入为图像I，输出为对应的三维场景坐标$Y(w,I)$

2.损失函数

光度重建损失：

实际上是指基于RGB信息重建的损失。训练阶段使用图像对输入，将$I^1$中预测的场景坐标$Y^1(w,I^1)$根据$I^2$的相机位姿真值$T^2$以及相机内参K投影到$I^2$中，得到合成图像$I^{1\leftarrow 2}$:
$$I^{1\leftarrow 2}=f\left({\mathbf{Y}}^1\left(\mathbf{w},I^1\right),I^2,{\mathbf{T}}^2,\mathbf{K}\right)$$
这里的f()函数为《Spatial transformer networks》中的空间变换网络STN

计算$I^1$与$I^{1\leftarrow 2}$之间的误差作为光度重建损失：