毫米波雷达视觉融合3D目标检测论文综述（二）

接上篇文章：毫米波雷达视觉融合3D目标检测论文综述一

paper	发表地方	融合方法	代码链接	backbone	NDS	mAP
RCBEV4d	TIV2023	特征级融合	-	Swin-T	0.497	0.381
MVFusion	ICRA2023	特征级融合	-	R101	0.455	0.380
CRN	ICCV2023	特征级融合	pytorch	R50	0.560	0.490

上篇主要介绍的基于关联方法的图像和雷达融合的3d目标检测算法，这里介绍剩下的自适应融合的方法。
一、RCBEV: Bridging the View Disparity Between Radar and Camera Features for Multi-Modal Fusion 3D Object Detection

出发点： 之前的基于特征融合的方法大都将雷达点投影到图像平面，之后进行特征提取后融合，但是这种将3D空间的雷达点投影到图像平面会导致感知信息的丢失，作者针对这个问题设计了一个针对3D目标检测的Radar和Vision融合网络。

文章主要分为四部分： 雷达点处理，图像处理，融合模块以及分类头的设计

• 雷达点处理：如上图所示，首先将$t-n$时刻的雷达帧通过变换矩阵转换到$t$时刻，之后利用过滤核过滤掉一些雷达噪声点，接着利用点云特征提取网络（VoxelNet或者Pointpillars）来提取BEV特征，考虑到不同时刻物体的偏差，作者利用时序模型来融合不同时刻的BEV特征。具体公式如下：
  
  

• 图像处理：如上图所示，首先利用Backbone和FPN提取图像特征，之后利用LSS转换到BEV空间形成BEV特征
  

• 融合模块：如上图所示，分别对 B E V r a d a r BEV_{radar}