【自动驾驶】自动驾驶车辆中基于图像和点云融合的目标检测调查学习笔记

自动驾驶车辆中基于图像和点云融合的目标检测调查

一、文章说明

1.摘要：

由于硬件限制，使用单个传感器很难实现准确可靠的环境感知。然而，多传感器融合技术提供了一个可以接受的解决方案。本文回顾了使用图像和点云进行目标检测的传统和现有文献。此外，对于基于融合的结构，本文根据图像和点云融合类型将目标检测方法分类为：早期融合、深度融合和后期融合。此外，还对这些类别进行了清晰的解释，包括优点和局限性。最后，评估了环境感知未来可能面临的机遇和挑战。

2.常见缩写：

ADAS 先进驾驶辅助系统。

AV 自动驾驶

Bbox 边界框.

CNN 卷积神经网络.

DL 深度学习

FCN 全卷积神经网络

FPN 特征金字塔网络

GNN 图神经网络

NHTSA 国家公路交通安全管理局。

R-CNN

RoIs 利益区域。

RPN 地区提案网。

STD 稀疏到密集

SVM 支持向量机。

YOLO

二、介绍

1.自动驾驶数据集：

the KITTI ：

“A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? The KITTI vision benchmark suite,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Jun. 2012, pp. 3354–3361.” 

nuScenes ：

“H. Caesar et al., “nuScenes: A multimodal dataset for autonomous driving,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., Jun. 2020, pp. 11621–11631.”

ApolloScape ：

“X. Huang, P. Wang, X. Cheng, D. Zhou, Q. Geng, and R. Yang, “The apolloscape open dataset for autonomous driving and its application,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 42, no. 10, pp. 2702–2719, Oct. 2020.” 

PandaSet ：

“F. Heidecker et al., “An application-driven conceptualization of corner cases for perception in highly automated driving,” 2021, arXiv:2103.03678.” 

2.基于图像和基于点云的对象检测方法：

Faster R-CNN 

Sparse R-CNN 

Pointnet++ 

Voxelnet 

基于图像和基于点云的对象检测在结合使用时表现更好。通过融合它们，可以实现视觉和立体的结合，并提高环境感知的鲁棒性。

本文涵盖了基于图像和基于点云的对象检测的发展，旨在为读者提供更清晰的理解。此外，对每种融合方法进行了更详细的分析，并得出了具体结果。

早期融合通过图像和点云信息之间的融合数据形式细分为三种更详细的方法。其中包括图像检测器驱动、图像语义驱动和关键点驱动方法。

根据点云与图像特征的融合方向，深度融合进一步细分为两类——双向引导融合和单向引导融合法。

3.本文大致内容：