PointNet++改进策略 ：实例分割 | ASIS | ，语义分割和实例分割互相协同执行，同时能够更好的协调分割精度

介绍

这篇论文提出了一种名为ASIS(Associatively Segmenting Instances and Semantics)的新框架,用于点云的3D实例分割和语义分割的联合任务。其主要贡献和见解如下:

1. 基础方法:论文首先提出了一个简单而有效的基线方法,使用共享编码器和两个独立解码器同时执行实例和语义分割。该基线方法在S3DIS数据集上已经超越了之前最先进的方法。

2. ASIS方法:在此基础上,ASIS被提出以显式地将两个任务以互利的方式关联在一起:

   • 语义感知的实例嵌入:通过将语义特征融合到实例分支中,实例嵌入被赋予语义感知能力。这有助于进一步区分不同语义类别的实例。
   • 实例融合的语义预测:通过学习到的实例嵌入,聚合属于同一实例的点的信息,从而增强语义预测。属于同一实例的点可以共享语义线索。

3. 实验结果:在S3DIS和ShapeNet数据集上的广泛实验表明了ASIS的有效性。它在实例分割和语义分割的评估指标上都显著优于基线和之前的方法。

4. 消融研究:消融实验表明,语义感知和实例融合两个组件都很重要,并且相辅相成,可以实现最佳性能。

总之,本文提出了一个有效的框架,通过利用实例分割和语义分割的互补性,将两者统一在点云上进行联合任