【深入理解BEVFormer】BEVFormer

最新推荐文章于 2025-04-02 16:12:37 发布
最新推荐文章于 2025-04-02 16:12:37 发布
阅读量745 收藏 4
点赞数 4
分类专栏： CV知识学习和论文阅读 文章标签： 计算机视觉 人工智能 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44184852/article/details/136129123
版权
本文探讨了在自动驾驶中，BEV（BirdsEyeView）视角的特征融合方法，包括早期的后融合与当前流行的特征级融合。BEVFormer利用DeformableAttention处理时空对齐问题，通过自注意力机制和可变形注意力实现高效计算，尤其是在6个摄像头视角的快速Backbone选择上。文章强调了时间注意力和空间注意力的重要性，以及3x3卷积在提高预测精度的作用。运行要求在Linux环境下且显存需12GB以上。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

任务场景

在这里插入图片描述
多模态融合和多传感器融合

在这里插入图片描述
BEV：鸟瞰图

这个特征空间与每个视角都相关

在这里插入图片描述
早期是用后融合，目前比较流行的是特征级融合

在这里插入图片描述
在这里插入图片描述
自身运动补偿：如果按照像素点进行特征对齐，需要指定偏移量 x y两个方向
特征空间是自己定义的，常见的是200x200，根据自己的硬件成本去考虑，每个网格点是一个特征向量，

在这里插入图片描述
同一个特征空间同时做多个下游任务，每一个相机视图又有多个特征，
分辨率太高，导致计算成本过高，难以训练

BEVFormer

在这里插入图片描述

时间和空间上都要做对齐，
DeformableAttention是目前的主流

输入

在这里插入图片描述
输入是一个序列
batch_size = 16
queue=3 t-2 t-1 t 不仅要考虑当前时刻，还要考虑前两个时刻,t-2 t-1
cam=6 6个摄像头
C=RGB 3
H W 高 宽

在这里插入图片描述

只用6个视角的摄像头
Backbone 是什么都可以 最好要速度快

在这里插入图片描述
在这里插入图片描述实际用自注意力机制做的，时间注意力和空间注意力

可变形注意力机制

在这里插入图片描述
当前的点作为query，只跟周围的4个点作为key，去计算相似度分数。基于当前点的偏移量
这4个点的贡献不相同，

在这里插入图片描述

空间注意力机制
映射到特征图，不一定是准确的那个点，得到的平面是一个高度的，一个点对应4个query，每个query对应一个不同的高度。

先做时间注意力，后做空间注意力

在这里插入图片描述

BEVForm++

在这里插入图片描述在这里插入图片描述
把1x1的卷积核换成3x3的，感受野更大，可以考虑周边的情况，让偏移量的预测更准确

在这里插入图片描述

先做时间，如果不做时间注意力，后面就不准确，可以把前面的query作为初始化。

windows跑不了，必须是Linux环境，显存至少12G以上，

bevformer详解(1):论文介绍
@bangbang的博客
05-11 587
3D 视觉感知任务，包括基于多摄像头的3D检测和地图分割对于自动驾驶系统至关重要。本文提出了一种名为BEVFormer的新框架，它通过使用空间和时间的学习统一的BEV表示来支持多个自动驾驶感知任务。简而言之，BEVFormer通过预定义的网格形式的Bev Query与空间和时间空间交互来提取时间空间信息。为了聚合空间信息，BEVFormer设计空间交叉注意力(spatial cross-attention)，每个BEV Query从不同摄像头的感兴趣区域中提取空间特征。对于时间信息。
bevformer详解(3): 逐行代码讲解
@bangbang的博客
05-22 2958
在这篇文章中，我们将从BEVFormer算法代码入手，深入探究BEV转换的流程。BEVFormer是一种基于Transformer的BEV转换模型，其核心思想是利用自注意力机制和交叉注意力机制，从，并通过Object Query与BEV特征的交互，完成3D目标检测和地图分割等任务。https://developer.baidu.com/article/details/3224715bevformer的网络结构由三部分组成, 模型结构所示，其中的是部分，对于的是的结构，对于部分，沿用的中的decoder部分，
BEVFormer详解
最新发布
MAX的专栏
04-02 1386
BEVFormer 是将Transformer架构的自注意机制与BEV视图中3D检测结合起来的一种纯视觉目标检测方案。对于纯视觉的BEV检测方案，其中的重中之重就是如何将2D的图像特征映射到3D空间的BEV栅格，既然是映射关系，那就有前行投影和反向查询两种机制。前向投影是基于深度估计的方法，参考基于深度估计的BEV视图转换方法，典型代表为LSS。反向查询方法思路为先将BEV栅格在Z方向上进行lift提升，然后再映射到图像特征图上进行特征查询。BEVFormer 就是基于这种机制进行2D图像特征到3D空间的B
BEVFormer论文详细解读
AI人工智能的海洋
05-27 6748
1.相当于我们在上帝视角下重构了一个特征空间，空间的大小我们自己定义 2.特征空间相当于一个网格，网格的间隔也可以自己定义，对应精度也会有差异 3.在特征空间中，我们可以以全局的视角来进行预测，特征都给你了，咋用你来定 4.难点：既想做的细致，还想节约计算成本，怎么办？BevFormer它来了
BEVFormer模型详解
2401_82375734的博客
01-05 949
BEVFormer模型通过创新性地结合了Transformer的强大能力和BEV视图的空间表示，提供了一种高效且精准的自动驾驶环境感知方法。它在多传感器融合、长时间序列建模和空间上下文建模等方面展现了出色的性能，推动了自动驾驶技术向更加智能化和高效的方向发展。随着技术的不断进步，BEVFormer可能会成为未来自动驾驶和智能交通系统中不可或缺的核心技术之一。
BEV感知---BevFormer详解
qq_44799766的博客
03-25 7771
论文名字其中关键词是Spatiotemporal 时空的 , 分开即 spatia 空间的l ,temporal 时间的。可见本论文在BEV感知上引入了时间和空间的因素。相比之前的BEV算法来说，这是比较有创新的一点。具体的，下图所示，上面的分支进行空间特征（多视角图像特征）注意力（spatial cross-attention）。下面的分支进行时间特征注意力(temporal self-attention)，可以看到作者这里把前一时刻(t-1时刻）的BEV特征当作是时间特征。
【CV论文精读】【BEV感知】BEVFormer：通过时空Transformer学习多摄像机图像的鸟瞰图表示
weixin_44184852的博客
02-16 5154
3D视觉感知任务，包括基于多摄像头图像的3D检测和地图分割，对于自动驾驶系统至关重要。在这项工作中，我们提出了一个称为BEVFormer的新框架，它通过时空Transformer学习统一的BEV表示，以支持多个自动驾驶感知任务。简而言之，BEVFormer通过预定义的网格形状的BEV queries与空间和时间进行交互，从而利用空间和时间信息。为了聚集空间信息，我们设计了空间交叉注意力，每个BEV query从跨摄像机视图的感兴趣区域中提取空间特征。
bevformer视觉转换部分尺寸及数据
04-26
BEVFormer可能是一个用于此类转换的模型或框架，它专注于处理尺寸和数据问题，这在理解和预测周围环境时至关重要。 在自动驾驶系统中，BEV转换是将来自多个传感器（如雷达、激光雷达和摄像头）的数据融合到一个统一...
BevFormer代码的流程结构梳理图和总结ppt
03-13
BevFormer代码的流程结构梳理图和总结PPT文件是相关领域研究人员深入理解BevFormer算法核心及流程的重要参考资料。其中，bevformer_pipeline.pdf文件详细地展示了BevFormer的算法流程结构图，这一结构图直观地反映了...
bevformer视觉转换模块数据信息及维度
04-26
**BEVFormer 视觉转换模块详解** 在自动驾驶和智能交通领域，Bird's Eye View (BEV) 转换是一种关键的技术，它能够将来自多个传感器（如...深入理解其数据信息和维度对于优化模型性能和提升系统整体效能至关重要。
TensorRT-使用TensorRT部署BEVFormer-支持int8量化+自定义tensorrt插件-优质算法部署项目实战
10-21
这一过程涉及到对TensorRT内部工作机制的深入理解，包括插件的创建、注册以及如何在构建过程中使用这些插件来优化模型。 本项目实战将深入探讨如何利用TensorRT进行高效的BEVFormer模型部署，并详细阐述如何支持INT...
BEVFormer笔记
qq_42250207的博客
07-21 2158
里面使用的注意力机制是SE模块，SE的注意力机制的作用在通道上的，图中看到的不同颜色的权重其实是表示不同注意力的权重，通过对通道数值的重新加权，网络会自适应的关注或忽略某些部分的特征，假定颜色比较深的区域是权重比较大的地方，通过加权后，权重比较大的地方的特征会自适应的得到加强。对于高度，这里一个点对应4个query（图中红色点），这4个点分别去遍历所有视角的特征，最后再做一个整合（可能这一步是没必要的，只需要1个query就好），类似于多头注意力机制，非要说在不同高度做的聚合也可以。1、是一个重构空间。
【论文解读】BEVFormer: Learning Bird‘s-Eye-View Representation from Multi-Camera Images via Spatiotemporal
lwk___123的博客
03-24 1569
3D视觉感知任务，包括基于多摄像头图像的3D检测和地图分割，对自动驾驶系统至关重要。在这项工作中，我们提出了一个称为BEVFormer的新框架，该框架通过时空变换器学习统一的BEV表示，以支持多个自动驾驶感知任务。简而言之，BEVFormer通过预定义的网格状BEV查询与空间和时间空间交互，利用空间和时间信息。为了聚合空间信息，我们设计了空间交叉注意力，即每个BEV查询从相机视图的感兴趣区域提取空间特征。对于时间信息，我们提出了时间自注意来递归地融合历史BEV信息。
【BevFormer】介绍和笔记
Aaron_zzc的博客
01-24 1928
【BevFormer】介绍和笔记
BEVFormer
qq_46460131的博客
11-20 2362
BEVFormer
BEVFormer论文解析
jiangqixing0728的博客
04-04 2188
2022ECCV论文BEVFormer的解析，入门自动驾驶感知融合必看的一篇文章，也是这几年大火的一篇文章
【BEV】BEVFormer总结
m0_51579041的博客
06-19 1504
【BEV】BEVFormer总结
BEV专栏（一）从BEVFormer深入探究BEV流程（上篇）
CV技术指南（微信公众号）
05-14 1945
本文提出了一种基于Transformer和时间结构的Bird's-Eye-View（BEV）编码器，称为BEVFormer。该编码器可以有效地聚合来自多视角摄像机和历史BEV特征的时空特征。
BEVFORMER 训练
02-23
### BEVFORMER 训练教程及相关资源 BEVFORMER 是一种基于鸟瞰图（Bird's Eye View, BEV）的多视角感知模型，在自动驾驶领域有广泛应用。对于希望深入了解并训练 BEVFORMER 的研究者而言，获取高质量的学习材料至关重要。 #### 官方文档与论文 官方 GitHub 仓库提供了详细的安装指南以及基础实验设置说明[^5]。建议从阅读原始论文《BEVFormer: Spatiotemporal Transformer for Camera-based Bird’s-eye-view Perception》入手，这有助于理解算法设计背后的理论依据及其应用场景[^6]。 #### 数据集准备 为了有效训练 BEVFORMER 模型，需要准备好合适的数据集。常用数据集包括 nuScenes 和 Waymo Open Dataset 。这些公开可用的数据集中包含了丰富的传感器信息，如摄像头图像、激光雷达点云等，非常适合用来验证和改进模型性能[^7]。 #### 环境搭建 根据项目 README 文件中的指导完成依赖环境配置，通常涉及 PyTorch 版本的选择以及其他必要的 Python 库安装。确保所有组件兼容且能够正常工作是成功运行代码的前提条件之一[^8]。 ```bash conda create -n bevformer python=3.8 conda activate bevformer pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 pip install mmcv-full==1.4.0 -f https://download.openmmlab.com/mmcv/dist/cu113/torch1.10/index.html git clone https://github.com/Megvii-BaseDetection/BEVFormer.git cd BEVFormer pip install -r requirements/build.txt pip install -e . ``` #### 开始训练 一旦完成了上述准备工作，则可以根据个人需求调整超参数设定，并启动训练过程。具体命令如下所示： ```bash python tools/train.py configs/bevformer/bevformer_base.py --work-dir work_dirs/bevformer_base/ ``` 通过指定不同的配置文件路径来切换至其他变体版本或特定任务场景下的优化策略[^9]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

量子-Alex

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值