13、多传感器融合技术在车道分割与定位中的应用

多传感器融合技术在车道分割与定位中的应用

1. 多传感器场景分割

在车道线分割任务中，目前主要有基于相机、基于激光雷达以及融合模型这三种方法。

1.1 不同传感器方法的优缺点

• 相机 ：能满足驾驶场景的高帧率要求，图像分辨率高且存储结构高效，在光照良好和天气晴朗时可提供丰富信息。但光线剧烈变化会对其性能产生较大影响。
• 激光雷达 ：能保留驾驶环境中的丰富 3D 信息，提供精确的距离测量，受环境光线条件影响小。不过，它只能提供稀疏且不规则的点云数据，可能导致存在许多空体素。

为了综合利用不同传感器的优势，多模态融合方法应运而生。多模态融合是将不同传感器的数据进行结合，在不同层次上进行多阶段特征融合，从而提高车道线分割的准确性，还能提升系统的冗余性、容错性以及决策的速度和准确性。

1.2 模型消融研究

通过在 KITTI 数据集上进行模型消融研究，来验证多模态融合和注意力机制的效果，具体结果如下表所示：
| Method | Camera | LiDAR | LSTM TripletNet | PRE/% | REC/% | F1/% |
| ---- | ---- | ---- | ---- | ---- | ---- | ---- |
| | ✓ | | | 74.53 | 97.11 | 84.34 |
| | ✓ | ✓ | | +4.36 | -2.80 | +1.57 |
| | ✓ | ✓ | ✓ | +14.44 | -7.73