【论文笔记】Fine-Grained Segmentation Networks: Self-Supervised Segmentation for Improved Long-Term Visual

针对视觉定位的语义分割网络, ICCV 2019

论文工作的动机：

using more segmentation labels to create more discriminative, yet still robust, representations for semantic visual localization

本文主要针对Long-term的视觉定位任务，提出了一个精细化分割网络，可以对场景进行精细化fine-grained的分割，得到相比于现有语义分割网络的分割结果更加丰富的语义标签。
同时，网络对于四季交替等场景中的外观变化足够鲁棒，不同季节对同一场景的语义标签输出是一致的，实验证明该网络能够提升视觉定位任务的性能。
此外，为了减少语义标注的工作量，作者使用了无监督训练的方式。

如下图，使用k-means得到含有丰富分割标签的训练数据，使用带有2D-2Dcorrespondence关系的数据集实现对同一场景能够输出一致的分割标签。

对于视觉定位任务，实际上语义信息不是必须的，只要有一致、稳定的分割标签即可。本文的目的只是输出更加精细的分割标签用于视觉定位，并非得到语义。根据论文的训练模式，训练数据的语义标签信息是根据k-means得到的，而k-means没有提取语义的能力。论文探究了网络输出的类别ID（cluster indices，横轴）与数据集的标准语义标签（横轴）之间的相关性：