单目3D检测新SOTA！PersDet：透视BEV中进行3D目标检测

后台回复【ECCV2022】获取ECCV2022所有自动驾驶方向论文！

文章题目：PersDet: Monocular 3D Detection in Perspective Bird’s-Eye-View

论文链接：https://arxiv.org/pdf/2208.09394.pdf

作者单位：旷视科技

一、摘要

目前，在鸟瞰图 (BEV)中检测3D目标要优于其它用于自动驾驶和机器人领域的3D目标检测器。但要将图像特征转化为BEV需要特殊的操作进行特征采样。这些操作在很多边缘计算设备上并不支持，这给部署检测器带来了额外的障碍。为了解决这一问题，我们重新讨论了BEV表示的生成，并提出了在透视BEV上检测目标的方法：一种新的BEV表示，不需要特征采样。我们证明了透视BEV特性同样可以享受到BEV范式的好处。此外，透视BEV解决了特征采样带来的问题，提高了检测性能。基于此，我们提出PersDet，在透视BEV空间获取高性能目标检测效果。在实现简单和内存高效结构的同时，使用ResNet-50作为骨干网络，PersDet在nuScenes上优于现有的其它SOTA单目检测方法，达到34.6% mAP和40.8% NDS。

二、介绍

3D目标检测在自动驾驶系统中非常重要，如摄像头、LiDAR、RaDARs等都是常用的传感器，其中基于摄像头的3D目标检测方法由于成本较低，现在受到越来越多的关注。

从检测视角来看，基于摄像头的3D目标检测分为两种：一种是Camera-View(CV)的检测器，一种是鸟瞰图视角（BEV）检测器。CV检测器比如FCOS3D、PGD等，都是遵循了2D检测器的设计，扩展检测头适配3D任务。从nuScenes榜单上看，这些CV检测方法表现不如基于BEV的方法。但由于CV检测器可以保持类似2D检测器一样的全卷积结构，在部署的时候非常友好，所以在工业界很受欢迎。

在BEV场景下检测3D目标是一种新的范式，并且得到了较好的效果。为了在BEV空间进行检测，他们使用了一个视角转换阶段，将Camera-View特征转换为BEV特征。然后将扩展的2D检测head(Yin、Zhou和Krahenbuhl 2021)应用于变换后的BEV特征。在现有的转化方法中，基于Lift-Splat (Philion and Fidler 2020)的方法因其高效、有效而受到越来越多的关注。基于lift-splatt的方法转换视角分为三步:

1. 利用深度估计将2D图像特征映射到3D空间。这一步生成一个3D表示，可以从BEV上查看特征。

2. 将3D图像特征与预定义的BEV网格/anchors对齐。这些anchors通常在空间中有规律地(即均匀地)分布。由于3D表示存在透视图像产生的透视畸变，因此该步骤采用特征采样算子，将特征与BEV的anchors对齐，去除畸变。

3. 将三维特征沿高度维度折叠，得到二维BEV特征。