RAL‘24开源 | SemanticKITTI第一！4D-CS：4D LiDAR语义分割全新框架！

0. 论文信息

标题：4D-CS: Exploiting Cluster Prior for 4D Spatio-Temporal LiDAR Semantic Segmentation

作者：Jiexi Zhong, Zhiheng Li, Yubo Cui, Zheng Fang

原文链接：https://arxiv.org/abs/2501.02937

代码链接：https://github.com/NEU-REAL/4D-CS.git

1. 导读

激光雷达点的语义分割对于自动驾驶和移动机器人系统具有重要的价值。大多数方法探索多扫描的时空信息来识别每个点的语义类别和运动状态。然而，这些方法往往忽略了分割在空间和时间上的一致性，这可能导致同一对象内的点云被预测为不同的类别。为了解决这个问题，我们的核心思想是生成跨多个帧的聚类标签，这些标签可以反映对象的完整空间结构和时间信息。这些标签为我们的双分支网络4D-CS提供了明确的指导，该网络集成了基于点和基于簇的分支，以实现更加一致的细分。具体来说，在基于点的分支中，我们利用历史知识，通过多个视图上的时间融合来丰富当前特征。在基于聚类的分支中，我们提出了一种新的策略来产生前景对象的聚类标签，并应用它们来收集逐点信息以导出聚类特征。然后，我们在多次扫描中合并相邻的聚类，以恢复由于遮挡而丢失的特征。最后，在点簇融合阶段，我们自适应地融合两个分支的信息以优化分割结果。大量的实验证明了该方法的有效性，并在SemanticKITTI和nuScenes数据集上实现了多扫描语义和运动对象分割。

2. 效果展示

图1.基线(Wafflelron)的比较[14])与我们在SemanticKITTI上的拟议方法。对于两种方法，子图(a)和(c)显示语义分割，而子图(b)和(d)显示移动对象分割。子图(e)和(f)显示来自DBSCAN的前景对象的聚类结果。