【论文笔记】视觉重定位 场景坐标回归 Efficient multi-output scene coordinate prediction 2020

Efficient multi-output scene coordinate prediction for fast and accurate camera relocalization from a single RGB image

巴黎中央理工

这是一篇混合方法，使用重新设计的CNN网络提取patches的特征，

然后输入到回归森林对patches的中心点像素坐标进行预测，得到多个3D坐标，选择置信度最高的一个作为预测，由此得到2D-3D对应关系。

最后根据Pnp和RANSAC求解相机位姿

论文方法

1.patch选择和对应标签制作

使用patch可以过滤掉与场景无关的位置（天空、墙壁等），去除噪声可以减少RANSAC的工作量进而加快运行速度。

本文只取以SURF特征点为中心的49X49的区域作为patch输入。

对应中心点的3D坐标标签计算：（使用RGBD信息，D为深度，p为图像二维坐标，k为相机内参）
$$相机坐标系下坐标：P_i^c=D_i{K}^{-1}\left[\begin{array}{c}{p}_i\\ 1\end{array}\right]$$

$$使用已知相机位姿转换到世界坐标系：\left[\begin{array}{c}{P}_i^w\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]$$