【论文笔记】基于语义地图重建的视觉重定位方法 VISUAL LOCALIZATION USING SPARSE SEMANTIC 3D MAP && 2019

VISUAL LOCALIZATION USING SPARSE SEMANTIC 3D MAP

---

作者：Tianxin Shi⋆†Shuhan Shen⋆†Xiang Gao⋆†Lingjie Zhu

研究机构：中科院自动化所，中国科学院大学

自己的想法：

本文使用图像检索、SFM进行3D建模、语义分割、RANSAC求解等技术提出了一个相机定位的混合pipeline，达到了SOTA的性能

论文提到目前可用的数据集有NLCT，KITTI，RobotCar Seasons dataset等。

论文方法介绍

之所以使用语义信息，是因为语义信息基本不受光照、气候、季节等因素的干扰。

论文提出的定位pipeline分为5个步骤：

1. 使用SFM技术（COLMAP）对场景图像数据集进行建模

2. 通过DeepLabV3+对图像数据集进行分割得到语义信息，然后将其加入到3D模型中的点云信息中，并去除动态目标，得到稀疏的语义3D模型Ms

3. 根据查询图像$I_Q$进行检索，检索模型为NetVLAD。得到前K个最近邻图像集合$I_R$

4. 对每张$I_R^i$