CVPR2019点云分割论文解读ASIS：Associatively Segmenting Instances and Semantics in Point Clouds

总述

3D点云准确而直观地描述了真实场景。到目前为止，如何在这样一个信息丰富的3D场景中分割各种元素，还很少得到讨论。

在本文中，首先介绍了一个简单而灵活的框架，用于同时分割点云中的实例和语义。然后，作者提出了两种方法，使两项任务互相利用，实现双赢。具体来说，通过学习语义感知的point-level实例嵌入，使实例分割受益于语义分割。同时，将属于同一实例的点的语义特征融合在一起，从而对每个点更准确地进行语义预测。本文的方法在3D实例分割方面大大优于目前最先进的方法，在3D语义分割方面也有很大的改进。

论文题目：Associatively Segmenting Instances and Semantics in Point Clouds

作者：Xinlong Wang, Shu Liu, Xiaoyong Shen, Chunhua Shen, Jiaya Jia

论文链接：https://arxiv.org/abs/1902.09852

代码链接：https://github.com/WXinlong/ASIS

相关介绍

实例分割和语义分割都旨在检测由场景中的最小单元组表示的特定信息区域。 例如，点云可以被解析为点组，其中每个组对应于一类东西或个体实例。 这两项任务是相关的，并且在实际场景中都有广泛的应用，例如自动驾驶和增强现实。 许多研究对每项任务都取得了很大进展，但现有方法并没有相关联地处理这两项任务。

实际上，实例分割和语义分割在某些方面相互冲突。 前者清楚地区分同一类的不同实例，而后者希望它们具有相同的标签。 但是，这两项任务可以通过寻求共同点来相互合作。 语义分割区分不同类的点，这也是实例分割的目的之一，因为不同类的点必须属于不同的实例。 此外，实例分段将相同的标签分配给属于同一实例的点，这也与语义分段一致，因为同一实例的点必须属于同一类别。 这一观察结果让人怀疑这两项任务如何相互联系，从而容忍双赢的解决方案？

 在实例分割和语义分割中，本文将这两项任务完全整合到一个端到端的并行培训框架中，该框架以柔和且可学习的方式共享相同的好处。

首先引入一个简单的基线来同时分割实例和语义。 它类似于将实例分割和语义分割用于2D图像的方法，本文将其应用于3D点云中。 基线网络有两个并行分支：一个用于每点语义预测; 另一个输出点级实例嵌入，其中属于同一实例的点的嵌入保持接近而不同实例的点的嵌入是分开的。 本文基线方法已经可以获得比最近最先进的方法SGPN 更好的性能，以及更快的训练和推理。 基于这种灵活的基线，进一步提出了一种新技术，将实例分割和语义分割紧密地联系在一起，称为ASIS（关联分段实例和语义）。