点云检测之LiRaFusion: Deep Adaptive LiDAR-Radar Fusion for 3D Object Detection

最新推荐文章于 2024-07-06 11:06:12 发布

原创

最新推荐文章于 2024-07-06 11:06:12 发布 · 1.6k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#3d #目标检测

LiRaFusion是密歇根大学在2024年发表在ICRA上的一篇论文
论文地址：LiRaFusion

文章目录

前言
一、Method
- Early Fusion
- Middle Fusion
总结

前言

在3D检测种由于 Lidar 达和摄像头对不断变化的天气和照明条件很敏感，因此引入了成本低、探测距离长和多普勒效应信息的雷达系统。
本文提出一种使用门控网络对提取到的特征进行融合，利用 Lidar 和 Radar 的互补信息进行3D物体检测的网络架构。
在这里插入图片描述

一、Method

该方法的提出是为了对 Lidar 和 Radar 数据进行更有效的特征提取和融合，以便进行特征提取。网络架构如图所示：在这里插入图片描述从堆叠点云中提取到每个体素的特征，利用 PointPillar 处理 Radar 特征，通过 Middle Fusion 中门控网络自适应的学习两个特征图的自适应权重，进行进一步的融合，生成新的特征图进行下流任务。

Early Fusion

在 Early Fusion 中为了将 Lidar 和 Radar 相融合，提取每个体素单元的特征。本文保留了LiDAR 强度、雷达截面（RCS）和速度等特征，作者认为LiDAR强度和RCS有助于对物体进行分类，而速度信息对于区分静态或动态物体以及预测速度和旋转很重要。

we keep these features since LiDAR intensity and RCS are helpful to classify objects, and velocity information is important to distinguish static or dynamic objects and predict the velocity and rotation and velocity information is important to distinguish static or dynamic objects and predict the velocity and rotation.

对于 Lidar 点保留了点的强度和 captured time offset ( $t_l$