【三维点云分割】Contrastive Boundary Learning for Point Cloud Segmentation

论文地址：[2203.05272] Contrastive Boundary Learning for Point Cloud Segmentation (arxiv.org)

目录：

摘要

1.简介

2.点云分割。

3.边界分割

4.方法

5.实现细节和基线

6.实验

6.1 实验中的边界问题

6.2 性能比较

6.3 消融实验

7. 结论

---

摘要

点云分割是理解3D环境的基础。然而，目前的三维点云分割方法对场景边界的分割效果较差，影响了整体分割效果。本文主要研究场景边界的分割问题。因此，我们首先探讨在场景边界上评估分割性能的指标。为了解决在边界上的性能不理想的问题，我们提出了一种新的对比边界学习(CBL)框架用于点云分割。具体而言，提出的CBL通过在多个尺度上借助场景上下文对比点的表示，增强了跨边界点之间的特征区分。通过在三种不同的基线方法上应用CBL，我们的实验表明，CBL不断地改进不同的baselines，并帮助它们在边界上获得引人注目的性能，以及总体性能，例如在mIoU中。实验结果证明了该方法的有效性和边界对三维点云分割的重要性。代码和模型将在 GitHub - LiyaoTang/contrastBoundary: Contrastive Boundary Learning for Point Cloud Segmentation公开提供。

1.简介

3D点云语义分割的目的是为每个 3D数据点分配语义类别，而健壮的3D分割对于各种应用非常重要[19,64]，包括自动驾驶、无人机和增强现实。

然而，尽管已经开发了各种各样的点云分割方法，但是对于三维点云的边界却很少关注。对场景边界进行精确的分割是非常重要的。首先，一个干净的边界估计可以有利于整体分割性能。例如，在二维图像分割中，对边界的精确分割是生成高保真掩模的关键[8,36,69]。其次，比较对于通常三维点比例较大的物体类别，如建筑物、树木等错误的边界分割会在很大程度上影响点较少的物体类别(如行人、柱子等)的识别。这对于自动驾驶等应用来说尤 其危险，例如，如果自动驾驶汽车无法准确识别边界，就会撞到路边。

 

遗憾的是，以往的3D分割方法往往忽略了对场景边界的分割。虽然已经有一些方法考虑了边界，但它们仍然缺乏明确和全面的研究来分析边界区域的分割性能。它们在整体分割性能上也不尽人意。

因此，为了对边界分割进行更深入的研究，我们首先探讨了在场景边界上的分割性能的量化指标。在揭示了令人不满意的性能后，我们提出了一种新的对比边界学习(CBL)框架来帮助优化边界分割性能，特别是在不同的基线方法中，该框架也持续提高了整体性能。特别是目前流行的分割度量缺乏对边界的具体度量，得现有方法难以揭示边界分割的质量。为了更清楚地了解边界上的性能，我们分别计算了边界区域和内(非边界)区域的常见的平均交叉并集(mIoU)。通过比较区域类型的性能和整体性能，可以直接揭示边界区域性能不理想的情况。此外，为了更全面地描述边界性能，我们考虑了 ground truth中的边界与模型分割结果中的边界的对齐。因此，我们引入了在二维实例分割中常用的边界 IoU[8]评分(B-IoU)进行评价，该评分与mIoU的整体性 能相比也低得多。

在确定边界分割困难后，我们进一步提出了一种新的对比边界学习(CBL)框架，以更好地对齐模型预测的边界与地面真实数据的边界。如图 1 所示，CBL 优化了边界区域内点的特征表示模型，增强了跨场景边界的特征分辨能力。此外，为了使模型更好地感知多语义尺度下的边界区域，我们还提出了一种子场景边界挖掘策略，该策略利用子采样过程发现每个子采样点云中的边界点，即子场景。具体来说，CBL 在不同的子采样阶段进行操作，有助于3D分割方法学习更好的边界特征表示区域。

根据经验，我们在四个数据集上用三个 baselines 进行实验。我们首先展示了使用当前的点云分割方法在边界区域上令人不满意的性能，然后展示了 CBL 可以帮助基线实现有前途的边界和整体性能。例如，提出的 CBL 可以帮助 RandLA- Net 在Semanic上超越目前最先进的方法。使基本的ConvNet 在 S3DIS数据集上实现领先的性能。

我们的贡献如下:

•我们探索当前三维点云分割中的边界问题，并使用考虑边界区域的度量来量化它，例如边界 IoU。结果表明，目前的方法在边界区域的精度比它们的整体性能差得多。

•我们提出了一种新的对比边界学习(CBL)框架，该框架通过对比场景边界上的点特征来改善特征表示。从而提高了边界区域的分割性能，进而提高了整体性能。

•我们进行了大量的实验，结果表明 CBL可以显著地、持续地改善所有 baselines 的边界面积和总体性能。这些实验结果进一步证明了 CBL对提高边界分割性能是有效的，准确的边界分割对于增强三维分割的鲁棒性至关重要。

2.点云分割。

点云语义分割的目的是为每个三维点分配语义标签。近年来，深度学习方法已经取代了传统的使用手工特征的方法[33,50]。传统的深度学习方法大致可以分为基于投影的方法和基于点的方法。

基于投影的方法将三维点投影到网格状结构上，可以是二维图像[7,32,43,65]，也可以是三维体素[9,22,52,57]。对于二维图像平面，我们可以利用已有的二维图像处理研究。然而，一个完整的3D分割通常需要采取多视点和重新投影[4,35]，这可能会导致表面遮挡。对于三维体素，考虑到三维空间中存在较大的空值，提出了稀疏卷积[16,17,61]，以缓解构建体素时的资源消耗。通常，体素分辨率会导致失去细节和需要资源的[46]之间的权衡。基于点的网络直接在3D点上运行，而PointNet[45]是这个方向上的一项开创性工作，它