4、自动驾驶感知中的数据融合技术概述

自动驾驶感知中的数据融合技术概述

1. 一步式模型

一步式模型在单个阶段中完成提案生成和边界框回归。通过将提案和边界框回归阶段融合为一步，这些模型通常在计算上更高效，更适合移动计算平台上的实时应用。例如，Meyer 等人将 LaserNet 扩展为多任务和多模态网络，对融合后的图像和 LiDAR 数据进行 3D 目标检测和 3D 语义分割。其具体流程如下：
1. 两个卷积神经网络（CNN）并行处理由点云生成的深度图像和前视图图像。
2. 通过将点投影到图像平面来关联相应的图像特征，实现数据融合。
3. 将融合后的特征图输入到 LaserNet 中，预测每个点的边界框分布，并组合这些分布以生成最终的 3D 提案。

这种方法在实现高效计算的同时，还能达到最先进的性能。

2. 静态道路目标检测中的融合

静态道路目标可分为道路上的目标（如路面和道路标记）和道路外的目标（如交通标志），它们为自动驾驶车辆提供规则、警告禁令和引导。传统的多模态道路检测方法主要依靠视觉进行道路/车道检测，同时利用 LiDAR 进行路缘拟合和障碍物掩蔽。而基于深度学习的道路检测方法可分为基于鸟瞰图（BEV）和基于前视相机视图两类：
- 基于 BEV 的方法 ：将 LiDAR 深度和图像投影到 BEV 进行道路检测，保留每个目标的原始 x、y 坐标和方向。例如：
- 利用 CNN 从点云预测密集的 BEV 高度估计，然后与 BEV 图像融合进行精确的车道检测，但无法区分不同的车道类型。
- Lv 等人并行处理 BEV LiDAR 网格图和 BEV 图像。
- Yu 等人提出的多阶段融合