6、多传感器融合的目标检测与语义分割技术

多传感器融合的目标检测与语义分割技术

在自动驾驶领域，环境感知是实现安全、高效行驶的关键。多传感器融合技术能够整合不同传感器的数据，提供更全面、准确的环境信息。本文将介绍基于多摄像头融合的目标检测以及多阶段相机 - 激光雷达融合网络实现 3D 语义分割的相关技术。

1. 多摄像头融合的目标检测

1.1 数据融合与目标检测流程

首先，将时间 $t$ 的图像数据输入到数据融合网络。经过轻量级 FPN 网络处理后，会生成一组感兴趣区域（RoI）$D_i$（$i = 1$ 到 $N$）。接着，GNMS 算法利用置信系数 $(K, C)$ 进行故障排除，它通过实时计算全局和局部置信系数来过滤传感器数据，有效抑制冗余和错误数据，填补图像 RoI 集合中的缺失数据，最终得出传感器融合后的目标检测结果。

1.2 网络性能评估

• 实验设置
  • 模型先在 COCO 数据集上预训练 500,000 个周期，训练时批量大小为 8。使用 Adam 优化器，在前 1,000 个周期内将学习率逐渐提高到 $10^{-3}$，并在第 400,000 个和第 450,000 个周期将超参数乘以 $l_{drop} = 0.1$。
  • 预训练完成后，在 KITTI 数据集上额外训练 100 个周期，保持学习率不变。为实现更快收敛，将边界框回归损失的加权因子设为 1。
• 目标检测性能
  • KITTI 数据集提供了全面的模型评估过程，改进了 PASCAL V