17、多传感器融合：多目标检测与跟踪的挑战与解决方案

多传感器融合：多目标检测与跟踪的挑战与解决方案

1. 多传感器数据集介绍

在多目标检测与跟踪领域，有两个重要的数据集值得关注，它们为相关研究提供了丰富的数据支持。
- RadarScenes 数据集 ：该数据集包含约 7500 个带注释的对象以及相应的跟踪 ID，记录了超过 4 小时、100 公里的驾驶数据。注释数据分为 11 个类别，基于类别间的相似性，又被合并为五组，分别是汽车、大型车辆、两轮车、行人和行人组。由于雷达分辨率的限制，难以区分单个行人和行人组，所以数据集中有代表行人实体的两个类别。
- TJ4DRadSet 数据集 ：配备了 4D 成像雷达、相机和激光雷达，拥有 40K 同步帧数据，其中 7757 帧带有约 30K 高质量的 3D 边界框和跟踪 ID。该数据集涵盖了各种道路场景，如高架道路、复杂十字路口、单行道和城市道路，还包含不同的光照条件，如暗光、亮光和正常光。其高分辨率的 4D 雷达信号可用于创建基于 4D 雷达的 3D 感知算法。

2. 多传感器融合面临的挑战

多传感器融合虽有诸多益处，但也面临着一些挑战，具体如下：
|挑战|详情|
| ---- | ---- |
|不同的传感器视角|基于不同原理的传感器安装在不同位置收集数据，导致各传感器收集的信息视角完全不同。以相机和激光雷达为例，相机基于“针孔成像”原理，从视锥获取信息；激光雷达在真实 3D 世界获取信息，保留物体的 3D 信息并可投影到多种视图。因此，相机和激光雷达对同一物体的表示差异很大，如何融合多视角数据并实现统一处理是一大挑战。|
|不同的数据表示|点云