19、多传感器融合在多目标检测与跟踪中的应用

多传感器融合在多目标检测与跟踪中的应用

1. 3D目标检测算法对比

在nuScenes测试集上，不同的3D目标检测算法有着不同的表现。以下是一些算法的平均精度（AP3D）对比：
| 类型 | mAP | 汽车 | 行人 | 自行车 |
| — | — | — | — | — |
| PointPainted PointPillars+（数据增强） | 46.4 | 77.9 | 73.3 | 24.1 |
| 3D - CVF | 57.8 | 83.9 | 82.4 | 30.6 |
| TransFusion（特征级融合） | 68.9 | 87.1 | 88.4 | 52.9 |
| BEVFusion | 75.0 | 90.5 | 91.8 | 62.9 |
| PointPillars+（仅LiDAR） | 40.1 | 76.0 | 64.0 | 14.0 |
| PointPillars | 30.5 | 68.4 | 59.7 | 1.1 |

从表格中可以看出，BEVFusion在各项指标上都表现出色，尤其是在自行车检测上，其AP3D达到了62.9%，远高于PointPillars的1.1%。

BEVFusion算法的工作流程如下：
1. 从多传感器中提取特征。
2. 通过视图变换将所有特征转换到鸟瞰图（BEV）空间。
3. 使用逐元素操作（如拼接）简单地组合转换为BEV的特征。
4. 采用全卷积BEV编码器来纠正融合后的BEV特征的局部空间不对齐。
5. 应用多个特定任务的头部以支持各种目标任务。

mermaid