BEVFusion：Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation——论文笔记

最新推荐文章于 2025-03-04 21:16:55 发布
最新推荐文章于 2025-03-04 21:16:55 发布
阅读量683 收藏 3
点赞数
分类专栏： BEV Perception 文章标签： 论文阅读 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m_buddy/article/details/128691321
版权
本文介绍了BEVFusion，一种在鸟瞰视图（BEV）空间中融合LiDAR和Camera数据的方法，旨在结合图像的丰富语义信息和雷达的深度信息。通过改进LSS的‘splat’操作，提高了运算效率，并提出了BEVPool-V1和BEVPool-V2来优化内存使用和计算速度。实验表明，这种方法在3D检测和分割任务中表现出色。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考代码：bevfusion

1. 概述

介绍：在这篇文章中提出一种Lidar和Camera在BEV空间下实现特征融合的方法，有效利用了图像丰富语义信息和雷达深度信息，构建一个不同模态数据融合的范式。对于图像部分生成BEV特征采用的是LSS的方案，不过这里对“splat”这个操作进行了改进（这个操作在原版实现中比较耗时，距离实际工程化又近了一步），也就是通过GPU多线程的特性直接在不同的深度bins下求和，而不需要累加求和之后再相减，这样便可极大提升运算的效率（文中指出大概快了40倍）。

Lidar数据和Camera数据他们的局限如下图：
在这里插入图片描述
将Lidar的点云投影到图像上是一种前融合策略，但是实际中能正确匹配上图像的Lidar点其实只占很少的一部分，对此最右边就是文章提出的在BEV空间下的特征融合。

2. 方法设计

2.1 网络结构

下图展示的是文章方法的结构：
在这里插入图片描述
从上图中可以看到文章的方法采取的是不同传感器中融合的结构，融合是在BEV空间下完成的，同时还设计了一个

最低0.47元/天 解锁文章
【自动驾驶】《BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation》论文阅读笔记
聿默的博客
09-18 2250
多传感器融合对于准确和可靠的自动驾驶系统至关重要。
【论文阅读】ICRA 2023|BEVFusion：Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation
非晚非晚的博客
08-09 1872
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation发表单位：MIT发表期刊：ICRA 2023多传感器融合对于准确和可靠的自动驾驶系统至关重要。最近的方法基于点级()融合方法：使用图像特征对激光点云进行增强。但是，相机到激光()投影的方法丢掉了图像的语义密度，特别对于3D场景分割任务。在本文中，我们使用BEVFusion。
【多模态融合】BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation
cjy_colorful0806的博客
04-18 1260
自动驾驶系统上往往部署了多个传感器，例如，Waymo 的自动驾驶汽车有 29 个摄像头、6 个雷达和 5 个激光雷达。不同的传感器提供互补信号：例如，摄像头捕获丰富的语义信息，LiDAR 提供准确的空间信息，而雷达提供即时速度估计。因此，多传感器融合对于准确可靠的感知具有重要意义。
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation
kebijuelun的博客
01-08 609
当前的融合方法主要是在 point-level 进行融合：利用图片特征增强 LiDAR point。提出了一种 BEV 下的多传感器、多任务融合方法，同时保留几何与语义信息。自动驾驶系统中多传感器融合有助于提升准确性与可靠性。选择 bev 作为特征融合的视角。
征程 6 工具链 BEVPoolV2 算子使用教程 1 - BEVPoolV2 算子详解
最新发布
地平线开发者
03-04 754
当前，地平线 征程 6 工具链已经全面支持了 BEVPooling V2 算子，并与 mmdetection3d 的实现完成了精准对齐。然而，需要注意的是，此算子因其内在的复杂性以及相关使用示例的稀缺，致使部分用户在实际运用过程中遭遇了与预期不符的诸多问题。
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation(mit-麻省理工版本)
2301_77102499的博客
03-31 2091
上一篇的bevfusion虽然与这篇的名字很相像但是解决的办法不同，上一篇主要是讲让激光相机融合前独立运行，剥离依存关系。本篇主要讲解决融合时BEV特征统一性问题，并对该方式的运行效率做了优化。下面来看具体情况。(1).来自不同传感器的数据以根本不同的方式表达:例如，相机以透视视图捕获数据，而激光雷达以3D视图捕获数据。为了解决这种视图差异，我们必须找到一种适用于多任务多模态特征融合的统一表示。由于二维感知的巨大成功，自然的想法是将激光雷达点云投影到相机上，并用二维cnn处理RGB-D数据。然而，
【论文解读】BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation
lwk___123的博客
10-29 996
多传感器融合对于准确可靠的自动驾驶系统至关重要。最近的方法基于点级融合：用相机功能增强LiDAR点云。然而，相机到激光雷达的投影丢弃了相机特征的语义密度，阻碍了这些方法的有效性，特别是对于面向语义的任务（如3D场景分割）。本文提出了一种高效通用的多任务多传感器融合框架BEVFusion。它将多模态特征统一在共享鸟瞰图（BEV）表示空间中，很好地保留了几何和语义信息。为了实现这一目标，我们通过优化的BEV池来诊断和解除视图转换中的关键效率瓶颈，将延迟减少了40倍以上。
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation
zhaoliang的博客
06-25 1373
BEVFusion：一种高效且通用的多任务多传感器融合框架。
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation文献阅读
x508207460的博客
01-16 990
近年来的研究在3D空间中定义物体查询并将图像特征融合到这些提议中，所有提议级融合方法都是以对象为中心的，也是几何为中心的。, 将多模态特征统一在共享的鸟瞰视图(BEV)表示空间中，同时保持了几何结构和语义密度,并支持大多数 3D 感知任务，并提出了一种带有预计算和区间约简的专用内核来消除BEV池化操作的效率瓶颈,实现了超过 40 倍的加速。图3：在不同的激光雷达稀疏度、物体尺寸和物体距离下，BEVFusion优于最先进的单模态和多模态探测器，特别是在更具挑战性的环境下(如：稀疏点云，小/远的物体)
(2022.05) BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation
chaoqinyou的博客
02-04 539
mit 版本的BEVFusion
多模态融合 - BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Repre ... (ICRA 2023)
77wpa的博客
06-19 2651
多传感器融合对于准确可靠的自动驾驶系统至关重要。最近的方法是基于点级融合：用相机特征增强激光雷达点云。然而，相机到激光雷达的投影丢弃了相机特征的语义密度，阻碍了这种方法的有效性，尤其是对于面向语义的任务（如3D场景分割）。在本文中，我们用BEVFusion打破了这一根深蒂固的惯例，BEVFusions是一种高效通用的多任务多传感器融合框架。它在共享鸟瞰图（BEV）表示空间中统一了多模态特征，很好地保留了几何和语义信息。
Multi-Sensor Fusion (GNSS, IMU, Camera) 多源多传感器融合定位 GPS/INS组合导航 PPP/INS紧组合-C/C++开发
05-26
Multi-Sensor Fusion (GNSS, IMU, Camera) 多源多传感器融合定位 GPS/INS组合导航 PPP/INS紧组合 Multi-Sensor Fusion 版本号：release/3.0.0 初衷 学习组合导航和VIO相关内容. 希望和有兴趣的小伙伴一起交流 程序依赖 glog Eigen OpenCV 3.4 Ceres 使用说明 最新稳定测试版本对应为release/3.0.0分支 Multi-Sensor Fusion使用了submodules形式挂载了tools,因此clone完本程序需要更新tools git checkout -b release/3.0.0 origin/release/3.0.0 git submodule init git submodule update 已经安装完依赖库后,可以直接编译程序 mkdir build && cd build cmake .. && make -j3 程序运行方式 ./mscnav_bin ${configure_file} ${log_
多传感器融合Multi-Sensor Fusion
10-08
组合导航和VIO相关内容.使用了submodules形式挂载了tools,因此clone完本程序需要更新tools 希望和有兴趣的小伙伴一起交流，
论文精读——《BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation》
zyw2002的博客
11-24 8053
研究背景：多传感器融合对于精确可靠的自动驾驶系统是必不可少的。最近的方法是基于点级融合：用摄像机特征增强LIDAR点云。然而，相机到激光雷达的投影会丢弃相机特征的语义密度（semantic density），阻碍了这种方法的有效性，尤其是对于面向语义的任务（如三维场景分割）。本文利用BEVFusion这一高效通用的多任务多传感器融合框架，打破了这一根深蒂固的惯例。它在共享鸟瞰(BEV)表示空间中统一了多模态特征，很好地保留了几何和语义信息。为了实现这一点，我们。
BEVFusion:Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation 论文笔记
weixin_45657478的博客
08-19 2510
BEVFusion:Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation 论文笔记
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation复现
qq_42719217的博客
08-04 1069
查看显卡：nvidia -smi查看CUDA版本 nvcc -v安装gpu版本的torch：pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 -f https://download.pytorch.org/whl/torch_stable.html。
BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation论文个人总结
豆奶泡油条
11-26 709
不同传感器拥有不同的表示，在多模态融合3D目标检测方案中，常见的是利用投影矩阵建立像素和LiDAR点之间的硬关联。2D目标检测的巨大突破引发了3D目标检测，所以一种思想是将LiDAR点投影到图像上，形成RGB-D数据，但是这样做会带来严重的几何失真，如下图(a)所示，因为在RGB-D图像中，相邻的两个像素可能在3D空间中距离很远。另一种思想是将图像像素投影到LiDAR点云中，但是由于LiDAR点云的稀疏性，大约只有5%的像素能和点云匹配上，如下图(b)所示，这严重浪费了图像丰富的语义特征。
项目概述：Multi_Sensor_Fusion - 多传感器融合框架
gitblog_00040的博客
04-12 535
项目概述：Multi_Sensor_Fusion - 多传感器融合框架 去发现同类优质开源项目:https://gitcode.com/ 在现代物联网和智能设备领域中，数据融合是提升系统效能和准确性的重要手段。 是一个专为多传感器数据融合而设计的开源项目，由开发者 Fang Wentao 创建。该项目的目标是提供一个灵活、高效且易于集成的框架，帮助工程师们处理来自多个不同传感器的数据，并将它们融合...
Multi-Sensor Fusion: Vehicle Localization based on Particle Filter
CG-SpatialAI
04-09 488
Overview 欢迎访问 https://spatial-ai.net/sensorfusion-kidnapped-vehicle-pf.html，持续更新。 code: cggos/carnd_p3_kidnapped_vehicle 粒子滤波(Particle Filter) 没有线性高斯分布的假设；相对于直方图滤波，粒子滤波(Particle Filter)不需要对状态空间进行区间划分。粒子滤波算法采用很多粒子对置信度进行近似,每个粒子都是对t时刻机器人实际状态的一个猜测。 越接近t时刻的Gr
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值