【论文速读】BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal

已于 2024-10-17 09:41:35 修改
阅读量973 收藏 17
点赞数 12
分类专栏： BEV 文章标签： 自动驾驶
于 2024-10-17 09:24:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/minyshi/article/details/142997565
版权

文章目录

概要

BEVFormer是一个用于自动驾驶系统的多相机输入的鸟瞰图（BEV）特征学习框架。它通过时空变换器有效地聚合空间和时间信息，支持3D目标检测和地图分割等多种任务。

整体架构流程

在这里插入图片描述
BEVFormer模型架构的核心是从多相机图像中学习鸟瞰图（BEV）表示，以支持自动驾驶系统中的多种感知任务。该架构由若干个编码层组成，每个编码层都包含三个关键设计：BEV查询、空间交叉注意力和时间自注意力。

  • BEV查询是一组预定义的网格状可学习参数，它们负责从多相机视图中通过注意力机制检索空间特征。这些查询以网格形式排列，每个网格点对应于BEV平面上的一个特定区域，允许模型灵活地从不同相机视图中聚合信息。

  • 空间交叉注意力模块是BEVFormer的另一个关键组成部分，它允许每个BEV查询仅与其感兴趣区域的图像特征进行交互。这一设计基于可变形注意力机制，通过预测参考点及其偏移量来有效地从多相机特征中采样信息，显著提高了计算效率。

  • 时间自注意力模块则负责处理时间信息，通过递归地融合历史BEV特征来捕捉环境的动态变化。这一模块通过注意力机制对历史BEV特征进行加权求和，以生成当前时间戳的BEV特征，从而使得模型能够利用过去的信息来改善当前的感知任务。

  • 在推理阶段，模型以视频序列的每个帧为输入，利用先前时间戳的BEV特征来辅助生成当前时间戳的BEV特征。这一在线推理策略不仅时间效率高，而且与实际应用场景相符。最终&#

最低0.47元/天 解锁文章
【CV论文精读】【BEV感知】BEVFormer：通过时空Transformer学习多摄像机图像的鸟瞰图表示
weixin_44184852的博客
02-16 5056
3D视觉感知任务，包括基于多摄像头图像的3D检测和地图分割，对于自动驾驶系统至关重要。在这项工作中，我们提出了一个称为BEVFormer的新框架，它通过时空Transformer学习统一的BEV表示，以支持多个自动驾驶感知任务。简而言之，BEVFormer通过预定义的网格形状的BEV queries与空间和时间进行交互，从而利用空间和时间信息。为了聚集空间信息，我们设计了空间交叉注意力，每个BEV query从跨摄像机视图的感兴趣区域中提取空间特征。
【论文解读】BEVFormer: Learning Bird‘s-Eye-View Representation from Multi-Camera Images via Spatiotemporal
lwk___123的博客
03-24 1528
3D视觉感知任务，包括基于多摄像头图像的3D检测和地图分割，对自动驾驶系统至关重要。在这项工作中，我们提出了一个称为BEVFormer的新框架，该框架通过时空变换器学习统一的BEV表示，以支持多个自动驾驶感知任务。简而言之，BEVFormer通过预定义的网格状BEV查询与空间和时间空间交互，利用空间和时间信息。为了聚合空间信息，我们设计了空间交叉注意力，即每个BEV查询从相机视图的感兴趣区域提取空间特征。对于时间信息，我们提出了时间自注意来递归地融合历史BEV信息。
BEVFormer论文详细解读
AI人工智能的海洋
05-27 6307
1.相当于我们在上帝视角下重构了一个特征空间，空间的大小我们自己定义 2.特征空间相当于一个网格，网格的间隔也可以自己定义，对应精度也会有差异 3.在特征空间中，我们可以以全局的视角来进行预测，特征都给你了，咋用你来定 4.难点：既想做的细致，还想节约计算成本，怎么办？BevFormer它来了
技术精讲 | BEVFormer，通过一个时空Transformer学习BEV表征
SYNKROTRON的博客
06-25 1434
BEVFormer是最近两年内BEV模型研究很有标志性的工作，引导了基于Transformer架构的一系列BEV模型的探索研究，对自动驾驶BEV感知系统的量产落地有积极的意义。
BEVFormer解读（提问版）
早睡早起吧
03-13 937
首先先把BEV提升到3维度（类似于魔方），得到每个网格的立体版了，再这这个立体网格上间隔选取4个点，每个点的索引坐标（x,y,z）就有了，然后再利用相机的内外参得到投影到图像上的坐标，但是不是每个图像上都会存在投影点（这就对了，前面的摄像头拍摄的图像，后面摄像头拍不到吧？），既然不是每个图像都能投影到，那就选那些有效的投影点。两个坐标系是不一样的，Query 坐标系是BEV的坐标系，图像原点位于BEV的左下角，而真实世界(x’,y’)是自车坐标系，也就说要从BEV坐标系转化到自车坐标系。
BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Trans
weixin_45657478的博客
07-03 1826
BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers论文笔记
【论文阅读】BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal
这里是张聪明，正在学习中，请稍后
05-11 1432
论文题目：BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers 参考与前言 arXiv 地址： BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers github代码地址（还没开，六月
BEVFormer: Learning Bird‘s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Trans
kebijuelun的博客
01-08 402
nuscenes test 集合 3d 检测结果，受益于多帧信息，其中速度估计的误差提升较大。nuscenes val 集 3d 检测结果，使用时域信息涨 5 个点。
BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal论文阅读
wxq的博客
05-14 361
一、概要 提出新框架BEVFormer，用spatiotemporal transformer学习统一的BEV表示，来支持多个自动驾驶感知任务。空间上，用cross-attention让每个BEV query从roi across camera views中提取空间特征；时间上，用 self-attention循环融合历史BEV信息。9.0 points higher than previous best arts on nuScenes test set。 二、方法 1. Spatial Cro
[BEV系列]BEVFormer: Learning Bird’s-Eye-ViewRepresentation from Multi-Camera Images viaSpatiotemporal
Talk is cheap, show me the code!
04-14 4852
BEVFormer包含三个关键设计： 1.网格形状的BEV查询（grid-shaped BEV queries） 2.空间交叉注意模块（patial cross-attention module） 3.时间自注意模块（temporal self-attention modul），
【论文速读】BEVDet: High-Performance Multi-Camera 3D Object Detection in Bird-Eye-View
minyshi的博客
10-17 691
在nuScenes验证集上的测试结果表明，BEVDet-Tiny版本在保持31.2% mAP和39.2% NDS的高准确性的同时，大幅减少了计算量至215.3 GFLOPs，并且将处理速度提升至15.6 FPS。在nuScenes验证集上的测试结果表明，BEVDet-Tiny版本在保持高准确性的同时，大幅减少了计算量并提高了处理速度。BEVDet在nuScenes数据集上进行了广泛的测试，该数据集提供了丰富的多相机图像和详细的3D标注。为了提高模型的鲁棒性和准确性，BEVDet引入了定制的数据增强策略。
论文速读|PLIP: Language-Image Pre-training for Person Representation Learning.用于人物表示学习的语言图像预训练
科研笔记
01-18 1035
预训练已成为学习强大人物表征的有效技术。大多数现有方法都表明，在ImageNet和LUPerson等纯视觉大规模数据集上进行预训练已经取得了显着的性能。然而，仅仅依靠视觉信息，缺乏稳健的明确指标，给这些方法学习判别性的人表示带来了挑战。从人物描述的内在细粒度属性指标中汲取灵感，我们探索将语言模态引入人物表征学习中。为此，我们提出了一种新的用于人物表征学习的语言图像预训练框架，称为PLIP。
【论文速读】Adapter tuning：Parameter-Effificient Transfer Learning for NLP
weixin_43457608的博客
10-14 1163
对大型预训练模型进行微调是自然语言处理中一种有效的传递机制。然而，在存在许多下游任务的情况下，微调是参数效率较低的：每个任务都需要一个全新的模型。**作为一种替代方案，我们建议使用适配器模块进行传输。适配器模块产生一个紧凑和可扩展的模型；它们每个任务只添加一些可训练参数，可以添加新的任务而无需重新访问以前的任务。原网络的参数保持不变，产生了高度的参数共享。**为了证明适配器的有效性，我们将最近提出的BERT变压器模型转移到26个不同的文本分类任务中，包括GLUE基准测试。
【论文速读】地平线：HE-Drive Human-Like End-to-End Driving with Vision Language Models
minyshi的博客
10-17 1395
本文介绍了一种名为HE-Drive的人类中心的端到端自动驾驶系统，该系统可以生成既具有时间一致性又舒适的轨迹。现有的模仿学习和基于学习的轨迹评分器能够有效地生成和选择准确的轨迹，但它们难以解决生成不连贯和不舒服的轨迹的问题。为了解决这些问题，HE-Drive 首先通过**稀疏感知（sparse perception）提取关键的3D空间表示，然后将其作为。
论文精读——《BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotempor》
zyw2002的博客
11-24 2154
三维视觉感知任务，包括基于多摄像机图像的三维检测和地图分割，是自动驾驶系统必不可少的任务。在这项工作中，我们提出了一个新的框架Bevformer，它通过时空转换器（spatiotemporal transformer）学习统一的BEV表示来支持多个自动驾驶感知任务。简而言之，Bevformer通过预先定义的网格状BEV查询与空间和时间空间进行交互，从而利用空间和时间信息。
【多视图感知】BEVFormer: Learning Bird’s-Eye-View Representation
qq_40734883的博客
06-17 945
本文提出了一种名为**BEVFormer**的新框架，通过时空transformer学习统一的鸟瞰图表征，以支持多个自动驾驶感知任务。
BEVFormer
weixin_47628030的博客
12-15 140
论文提到，对于时间t处的数据，从过去两秒的时间中，按时间先后顺序随机抽取另外的3个不同时间数据，循环生成BEV特征，对于时间最早的数据，没有上一时刻的BEV特征，在进行时间注意力机制时，用BEV query当作历史BEV特征，相当于两个BEV Query堆叠后进行自注意力操作。显然这种不经处理的堆叠只会让结果更差，好在数据集提供了每一时刻位置信息，可以计算每个时间的自车位置以及方向，堆叠的时候，历史BEV特征首先加上到当前时间自车位置的偏移，并将方向旋转到当前时间的位置，转换后的特征才能更好的对齐。
CVPR2024 | CLIP-BEVFormer：显式监督BEVFormer结构，提升长尾检测性能
CV_Autobot的博客
03-25 1686
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『BEV感知』技术交流群论文作者|Chenbin Pan编辑 | 自动驾驶之心写在前面&笔者的个人理解目前，在整个自动驾驶系统当中，感知模块扮演了其中至关重要的角色，行驶在道路上的自动驾驶车辆只有通过感知模块获得到准确的感知结果后，才能让自动驾驶系统中的下游规控...
BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers开源代码
最新发布
03-14
### BEVFormer 开源代码及相关实现 BEVFormer 是一种基于时空 Transformer 的模型，旨在从多相机图像中学习鸟瞰图（Bird's Eye View, BEV）表示。以下是关于 BEVFormer 的开源代码及其相关内容： #### 官方及社区支持的 BEVFormer 实现 目前，BEVFormer 已经有多个官方和非官方的实现版本可供参考。其中最常用的实现之一可以在以下 GitHub 仓库找到[^5]： ```plaintext https://github.com/fundamentalvision/BEVFormer ``` 此仓库提供了完整的 PyTorch 实现，并附带详细的文档说明如何训练和测试模型。它还包含了预训练权重以及数据集准备脚本。 #### 主要功能模块 BEVFormer 的核心在于其时空 Transformer 结构，能够有效融合来自不同时间步和视角的信息。具体来说，该模型的主要组成部分包括： 1. **空间特征提取**：利用 CNN 或其他 backbone 提取每张图片的空间特征。 2. **时间维度建模**：通过引入 temporal self-attention，在连续帧之间建立关联。 3. **视图变换**：将二维图像特征转换为三维 BEV 特征，以便更好地适应自动驾驶场景中的感知需求。 这些机制共同作用，使 BEVFormer 能够高效地处理由多摄像头捕获的数据流并生成高质量的鸟瞰图表示[^6]。 #### 示例代码片段 下面是一个简单的伪代码示例展示如何加载 BEVFormer 并执行推理操作： ```python import torch from bevformer.models import build_model # 初始化模型配置 config = { 'backbone': 'resnet50', 'num_cameras': 6, 'img_size': (256, 704), } model = build_model(config) # 加载预训练参数 checkpoint_path = './checkpoints/bevformer_pretrained.pth' state_dict = torch.load(checkpoint_path)['state_dict'] model.load_state_dict(state_dict) # 输入样本模拟 batch_images = torch.randn(1, 6, 3, 256, 704) # N,C,H,W per camera view with torch.no_grad(): output_bev = model(batch_images) print(output_bev.shape) # 输出形状应匹配预期大小 ``` 上述代码展示了如何构建一个基础版 BEVFormer 模型实例，并完成一次前向传播计算过程[^7]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值