论文笔记-CVPR2019 Associatively Segmenting Instances and Semantics in Point Clouds

最新推荐文章于 2025-06-09 07:50:41 发布

BenjaminYoung29

最新推荐文章于 2025-06-09 07:50:41 发布

阅读量2.3k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：论文 DeepLearning

本文链接：https://blog.youkuaiyun.com/BenjaminYoung29/article/details/88815771

本文介绍了一种名为ASIS的端到端框架，旨在同时解决点云中的实例分割和语义分割问题。通过改进的损失函数和ASIS模块，实现点云中不同实例的更好分离和语义预测的准确性。实验证明，该方法在S3DIS和ShapeNet数据集上超越了现有的3D分割方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

标题-Associatively Segmenting Instances and Semantics in Point Clouds
作者-Xinlong Wang1 Shu Liu2 Xiaoyong Shen2 Chunhua Shen1 Jiaya Jia2;3

介绍

实例分割，语义分割：检测场景中由最小单位的集合代表的特定信息的区域。例如。一个点云可以分析成几组点，每个组表示一个类。或者一个单独的实例。
应用点：如自动驾驶，增强现实
现状：没有先进工作将两项任务结合。
冲突点：实例分割是要是被出同一类物体的不同实例，语义分割是想让同一类物体有同样的标签。
协作点：语义分割识别出不同的类，而不同实例肯定属于不同的类。实例分割将相同的标签赋予一个实例。因为同一个实例必定属于同一个类别。
简单结合方法：

简单方法1：给出语义标签，在单独的标签基础上跑实例分割。缺点：实力分割很大程度上取决于语义分割的表现。
简单方法2：给出实例标签，将所有实例分类将预测的类标签赋予该实例的每个点。缺点：不准确的实例预测会严重混淆downstream object classifiers。

这两种方法都是step-wise paradigm。都不是最优解法，效率低下。

本文将两项任务结合到一起成端到端平行的训练框架。
作者首先介绍了同时分割语义和实例的baseline。方法类似Semantic instance segmentation with a discriminative loss function.中对2D图片的方法，作者将网络修剪成适用于点云的。网络有两个分支：一个是每个点的语义预测；另一个输出点级的嵌套(embeddings), 属于同一个实例的点集靠近，不属于的远离。该baseline在训练和表现上已经比state-of-the-art的SGPN表现好了。基于该基线，提出了ASIS
利用提出的ASIS方法，网络可以学习语义感知的实例嵌套，其中属于不同语义类的点的嵌入通过特征融合进一步自动分离。
效果：
在这里插入图片描述
不同类的点之间间距更大。如1中桌子椅子，2中窗户和墙，3中椅子柜子。此外，利用同一实例中点的语义特征进行融合，使每点的语义预测更加准确。语义分割期间一个点会被分配成一个类别，因为包含这个点的实例属于该类别。
该方法对不同的主干网络适用，如PointNet和PointNet++。