7、多传感器数据融合的鲁棒环境感知：多阶段相机 - 激光雷达融合网络研究

多传感器数据融合的鲁棒环境感知：多阶段相机 - 激光雷达融合网络研究

在多传感器数据融合的环境感知领域，为了提升 3D 语义分割的性能，研究人员提出了一种多阶段相机 - 激光雷达融合网络。下面将从实验验证、消融研究等方面对该网络进行详细解读。

实验验证

本部分通过在不同数据集上的实验，全面评估了所提出方法的性能。

数据集

采用两大具有挑战性的数据集开展评估工作，即 SemanticKITTI 和 nuScenes。
- SemanticKITTI ：该数据集凭借为图像和点云提供的额外密集注释，成为广泛使用的基准。它总计包含 41,000 帧，被划分为 22 个序列，用于五个任务的训练和验证。
- nuScenes ：这是一个大规模且公开可用的数据集，涵盖 1,000 个道路交通场景，采集了来自多种不同传感器的数据。其中 850 个场景用于训练和验证，150 个场景用于测试，并且包含语义分割等各种任务的注释。

这两个数据集为感知算法的开发和评估提供了广泛而多样的信息，同时也带来了新的独特挑战，特别是在自动驾驶场景的语义分割方面，使其成为评估算法有效性和鲁棒性的理想测试平台。

实现细节

• 骨干网络 ：使用 ResNet - 34 和 SalsaNext 作为两个分支的骨干网络。
• 优化器 ：依据相关研究，图像分支参数的优化采用 SGD 优化器，点云分支则使用 Adam 优化器，学习率遵循余弦策略