使用Transformer融合时空信息的自动驾驶感知框架

最新推荐文章于 2025-04-02 16:12:37 发布
最新推荐文章于 2025-04-02 16:12:37 发布
阅读量2.4k 收藏 15
点赞数 2
文章标签： transformer 自动驾驶 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/PerceptionX/article/details/125523675
版权
BEVFormer是一种基于Transformer的自动驾驶感知框架，通过时空信息融合优化鸟瞰图视角下的物体检测。在nuScenes数据集上表现出色，BEV特征支持多种感知任务，包括3D目标检测和地图语义分割。BEVQueries通过Spatial Cross-Attention和Temporal Self-Attention融合多视角信息，提高了检测性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

BEVFormer很荣幸参与到最近这波BEV感知的研究浪潮中，我们从开源社区中受益良多，也希望尽我们所能为社区做出我们自己的贡献，希望未来与社区一道共同构建更加安全可靠的自动驾驶感知系统。

引言

TL; DR: 本文提出了一套基于Transformer和时序模型在鸟瞰图视角下优化特征的环视物体检测方案，即BEVFormer。nuScenes数据集上以NDS指标（类似mAP），在camera only赛道中大幅领先之前方法。本文旨在介绍我们在设计BEVFormer过程中考虑的思路、比较的多种方法、以及下一步可能的研究方向。

PS:未经授权，禁止转载

介绍

最近，基于多视角摄像头的3D目标检测在鸟瞰图下的感知（Bird’s-eye-view Perception, BEV Perception) 吸引了越来越多的注意力。一方面，将不同视角在BEV下统一与表征是很自然的描述，方便后续规划控制模块任务；另一方面，BEV下的物体没有图像视角下的尺度(scale)和遮挡(occlusion)问题。如何优雅的得到一组BEV下的特征描述，是提高检测性能的关键。

nuScenes自动驾驶数据集因其数据的质量、规模与难度都比之前数据集有大幅提升，而获得了很多研究者的关注。在nuScenes 3D object detection task上，目前前6名方案都是2022年3月进行的提交。我们提出的BEVFormer取得了48.1 mAP和56.9 NDS，两个指标均超越现有方法3个点以上，暂列第一。“低碳版”BEVFormer-pure仅使用ResNet-101与单尺度测试，取得了优于第二名（Swin-B、test-time aug）的mAP以及相同的NDS。具体榜单如下。
在这里插入图片描述
注：Table：BEVFormer 在nuScence榜单上的排名（截至2022.3.31）

本项目最早启发于2021年7月特斯拉的技术分享会，为此我们还做了几期细致的分享（链接TODO）。特斯拉展示了基于Transformer使用纯视觉输入进行自动驾驶感知任务的惊艳效果，但是它并没有展示其方法的具体实现和量化指标。与此同时，学术界也有许多相关工作旨在利用纯视觉输入来完成自动驾驶感知任务，例如3D目标检测或者构建语义地图。我们提出的BEVFormer的主要贡献在于使用Transformer在BEV空间下进行时空信息融合。

BEVFormer方案

在这里插入图片描述
注：BEVFormer动机：使用可学习的BEV query通过attention与spatial space 和temporal space交互

动机

在介绍BEVFormer的具体方案之前，先要回答两个问题。

1: 为什么要用BEV?

事实上对于基于纯视觉的3D检测方法，基于BEV去做检测并不是主流做法。在nuScenes 榜单上很多效果很好的方法&#x

最低0.47元/天 解锁文章
OpenDriveLab
关注
自动驾驶---视觉Transformer的应用
智能汽车人的博客
07-22 2020
本文对自动驾驶中的Transformer模型，特别是视觉Transformer进行了全面的调查，展示了它们的意义超越了传统的卷积神经网络（CNNs）和递归神经网络（RNNs）。我们探索了它们在自然语言处理和计算机视觉方面的基础架构、基于注意力的处理优势，以及它们在各种AD任务中的卓越性能，包括3D对象检测、2D车道检测和高级场景分析。此外，我们强调了挑战，以激发人们对这一动态领域的进一步兴趣和研究。视觉Transformer凭借其细致入微的数据处理能力，有望在车载技术方面取得令人兴奋的进步。
Transformer~自动驾驶
whaosoft143ai的博客
10-30 309
对于更复杂的情况，其中输入包含静态和动态数据(例如，道路几何形状，车道连接，交通灯等)，由于自关注和昂贵的位置前馈网络对输入序列长度的二次依赖，标准Transformer对广泛的多维序列进行建模是具有挑战性的。最后，我们强调了基于Transformer的模型中的挑战、趋势和当前见解，并在实际应用程序中长期Transformer部署的背景下讨论了它们的硬件部署和加速问题。在之前的调查中，已经对不同自动驾驶任务的深度学习方法进行了回顾和讨论，包括一般性讨论[3]，[10]，[11]，[12]，[13]；
三分钟了解自动驾驶中视觉Transform应用：视觉Transoform自动驾驶综述
自动驾驶实战
08-04 1067
Transform架构是一项突破性创新，通过利用注意力机制进行序列处理，标志着从传统循环层的转变。它由两个主要部分组成：编码器和解码器。编码器通过多头注意力和前馈网络处理输入嵌入，两者都通过层规范化和残差连接得到增强。解码器结构与编码器相似，也聚焦于编码器输出，生成最终的输出序列。位置编码在此架构中至关重要，因为它们使模型能够识别序列顺序，这一关键特性是Transform本身无法辨别词序的。此功能对于把握语言上下文至关重要，使得位置编码成为Transform设计的基本组成部分。
BEVFormer详解
最新发布
MAX的专栏
04-02 1426
BEVFormer 是将Transformer架构的自注意机制与BEV视图中3D检测结合起来的一种纯视觉目标检测方案。对于纯视觉的BEV检测方案，其中的重中之重就是如何将2D的图像特征映射到3D空间的BEV栅格，既然是映射关系，那就有前行投影和反向查询两种机制。前向投影是基于深度估计的方法，参考基于深度估计的BEV视图转换方法，典型代表为LSS。反向查询方法思路为先将BEV栅格在Z方向上进行lift提升，然后再映射到图像特征图上进行特征查询。BEVFormer 就是基于这种机制进行2D图像特征到3D空间的B
多模态图像融合全新里程碑！性能暴涨至99.48％，效率提升4倍
m0_59235245的博客
07-17 1937
强烈建议所有做图像任务的伙伴，一定不要忽略这项至关重要的技术：多模态图像融合！它能将不同模态的信息结合，克服单一模态的图像信息量有限的问题，在提高图像处理任务的准确性和效率方面效果显著！比如新模型DeepM2CDL便实现了性能提升至99.48％的炸裂效果！而模型MACTFusion，则通过引入注意力机制，在性能提升的同时，训练速度快4倍！正是基于该方法效果卓越，各种改进层出不穷！简述：本篇论文提出了一种名为DeepMCDL的深度多尺度多模态卷积字典学习网络。
Transformers在自动驾驶领域的应用（High-level like in scene）
qq_39337332的博客
04-26 1535
Transformers uses global attention mechanism to capture long-range interaction information. Two core modules in Transformers are Self-Attention and Cross-Attention, which defined asAttn(Q,K,V)=softmax(QK⊤dk)VSelfAttn(X)=Attn(WQX,WKX,WVX)CrossAttn(X,Y)=Attn
【基于Tansformer的融合方法：感知损失：传递-感知损失】
weixin_43690932的博客
12-05 1709
仅供自己参考
自动驾驶感知新范式——BEV感知经典论文总结和对比（上）
苹果姐计算机视觉原创知识分享
07-22 7650
自动驾驶bev感知经典论文总结和对比
【图像分类】CNN+Transformer结合系列.3
m0_61899108的博客
07-31 6837
​ ​ 介绍两篇图像分类的论文：ResMLP（arXiv2305），MetaFormer（CVPR2022），两者都与Transformer有关系，前者基于transformer结构的特点设计ResMLP，后者认为宏观架构才是Transformer成功的原因并设计一个简单的PoolFormer结构。 ​ ​
【算法学习】ViT Adapter——Transformer与CNN特征融合，屠榜语义分割！
qq_50001789的博客
02-04 5262
论文题目：《VISION TRANSFORMER ADAPTER FOR DENSE PREDICTIONS》 本工作主要针对普通ViT缺少视觉特定的归纳偏置问题做改进，设计了ViT-Adapter模块，利用交叉注意力，充分将CNN中局部空间建模的能力融入到ViT模型中，在**保持原有ViT架构不变，即ViT语义特征不减弱的情况下，灵活地将图像相关的归纳偏置注入到ViT模型中**，重构密集预测任务所需要的细粒度多尺度特征，最终实现下游任务良好的应用。
融合创新！全局特征+局部特征，性能优于Transformer
热门推荐
学姐带你玩AI的博客
04-16 1万+
在图像处理领域，是一种常见且十分高效的策略，用于提高图像分析和识别任务的性能。全局特征反映了图像的整体属性，如颜色分布、形状轮廓等，它们通常对图像的尺度和旋转具有不变性。局部特征关注于图像中特定关键点或区域的特性，如角点或边缘，这些特征有助于识别图像中的特定对象和细节。这种融合策略综合利用了不同特征之间的优势互补，可以，是CV领域值得深入研究的重要方向。本次分享，有最新的也有经典的，可借鉴的方法和创新点我做了简单介绍，原文以及相应代码都整理了，方便同学们学习。论文原文以及开源代码需要的同学看文末。
Transformer系列-5丨实现多尺度特征高效融合的CrossViT
2401_85379281的博客
08-22 2252
往期的文章中，笔者从网络结构和代码实现角度较为深入地和大家解析了Transformer模型Vision Transformer模型（ViT）BERT以及DETR基础Transformer解析ViT模型与代码解析BERT模型与代码解析DETR模型解析本期内容，笔者想和大家聊一聊ViT的变体，即CrossViT，其大致结构如下图所示。在深入探索CrossViT具体结构之前，我们先简单回归一下CNN中的多尺度特征。一般而言，在CNN网络中，通过堆叠卷积+池化层来实现特征提取和摘要。
BEVerse：自动驾驶视觉为中心的BEV统一感知和预测框架
3D视觉工坊
05-24 3322
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨黄浴来源丨计算机视觉深度学习和自动驾驶arXiv论文“BEVerse: Unified Perception and Prediction in Birds-Eye-View for Vision-Centric Autonomous Driving”，上传于2022年5月19日。作者来自清华大学和创业公司鉴智...
图像融合中transformer
skyfengye的博客
07-21 1973
现在深度学习中transformer 模型已经得到了深度的应用，不同的计算机视觉任务中大家都开始使用transformer跟当初attention 机制刚刚提出来一样。今天看到一篇很有趣的文章。一个基于transformer 的图像融合算法。主要逻辑框架如下图： 总体上看，这是一个编码解码的结构。这里我不是主要弄图像融合，我看到这个网络结构模型突然想到了，语义分割网络中是否可以使用该网络结构呢。其中主要是一个transformer 模块的加入。由机会，大家可以尝试一下。 ...
使用Transformer学习动态多层次的交通时空特征
zuiyishihefang的博客
06-04 3360
文章信息本周阅读的论文是一篇2021年发表在《Transactions on Intelligent Transportation Systems》上利用Transformer进行交通流预测的文章，题目为《Learning Dynamic and Hierarchical Traffic Spatiotemporal Features With Transformer》。...
最新热点！融合创新！Transformer+并行网络：局部特征+全局特征；时序特征+空间特征！小白也会用的分类预测程序！
Python_cocola的博客
09-11 2874
Transformer模型是当前预测领域的热门模型，但在故障识别即分类领域尚缺乏相关文献，更别说其改进模型了，的必定是创新性极高的发文方向，且这方面的文献极度稀缺，可以说一投就中。本程序结合上述3篇文献，并对其进行多重改进创新！！！提出基于数据预处理方面参考文献三，利用相空间重构法将一维波形转化为二维图像；图像特征提取方面参考文献一：搭建用于提取递归图的空间特征故障识别模型结构参考文献二：构造故障识别程序文献一解读。
Transformer是如何应用于自动驾驶领域的？
3D视觉工坊
08-12 300
说到纯视觉的自动驾驶方案，大家第一个想到的就是Tesla吧。的确，早在2021年，Tesla就已经实现了纯视觉的BEV检测方案，而且效果非常好。细心的同学可能发现了，这套BEV方案中将相机空间的图像转换到BEV空间的核心组件就是Transformer。Transformer来源于自然语言处理领域，首先被应用于机器翻译。后来，大家发现它在计算机视觉领域效果也很不错，而且在各大排行榜上碾压CNN网络。...
自动驾驶感知融合算法
03-20
<think>好的，用户让我介绍一下自动驾驶感知融合算法。首先，我需要回忆一下自动驾驶系统中的感知融合部分的基本概念和常用方法。感知融合主要是将来自不同传感器的数据结合起来，提高环境感知的准确性和鲁棒性。常见的传感器包括摄像头、激光雷达、毫米波雷达等，每种传感器都有其优缺点，融合它们的数据可以互补优势。 接下来，我应该分几个方面来介绍。首先，感知融合的作用，比如提高可靠性、冗余性、互补性。然后，主要的融合层次，可能包括数据级、特征级和决策级融合，每种层次的特点和应用场景。接着是常用的算法，比如卡尔曼滤波、扩展卡尔曼滤波、粒子滤波这些传统方法，还有深度学习的方法，比如早期融合、晚期融合以及融合网络。此外，可能需要提到一些具体的应用例子，比如目标检测融合或者语义分割融合。 然后，用户可能需要一些Matlab的示例代码，来展示如何实现简单的传感器融合。比如使用卡尔曼滤波来融合两个传感器的位置数据。这部分需要写出Matlab代码，并解释代码的步骤，比如初始化参数、生成模拟数据、应用卡尔曼滤波等。 在解释部分，需要详细说明代码的每个步骤的作用，比如为什么选择卡尔曼滤波，它是如何预测和更新状态的，噪声参数的影响等。同时，还要提到结果的可视化，帮助用户理解融合后的效果。 最后，根据用户的要求，需要提出四个相关问题。这些问题应该围绕感知融合的不同方面，比如传感器类型、算法比较、深度学习的作用以及挑战。这些问题需要具体且有针对性，能够引导用户进一步深入学习。 需要确保回答的结构清晰，分点明确，代码正确且注释详细。同时，语言要简洁易懂，避免过于专业的术语，或者在必要时进行解释。检查是否有遗漏的重要点，比如时间同步、坐标变换等挑战，这些在实际情况中也很重要，应该在解释部分提到。 现在把这些思路组织成回答，确保涵盖用户的问题，并提供有价值的代码和相关问题。</think><< 自动驾驶感知融合算法是自动驾驶系统的核心模块之一，主要用于整合来自多种传感器（如摄像头、LiDAR、雷达、超声波等）的数据，以提高环境感知的准确性和鲁棒性。以下是关键知识点和实现方法： ### 一、感知融合的作用 1. **可靠性提升**：通过多传感器冗余降低单点失效风险 2. **互补优势**： - 摄像头：高分辨率图像但受光照影响 - LiDAR：精确3D测距但成本高 - 雷达：全天候工作但分辨率低 3. **数据增强**：融合不同特性的传感器数据提升检测精度 ### 二、主要融合层次 1. **数据级融合（早融合）**： - 直接融合原始传感器数据 - 示例：点云与图像像素级融合 - 优点：保留最多原始信息 - 缺点：计算量大，需严格时空同步 2. **特征级融合（中融合）**： - 先提取各传感器特征再融合 - 示例：融合CNN特征和点云体素特征 - Matlab实现示例： ```matlab % 图像特征提取 imgFeatures = activations(net, img, 'conv5'); % 点云特征提取 ptCloud = pcread('data.pcd'); voxelFeatures = voxelize(ptCloud); % 特征融合 fusedFeatures = [imgFeatures; voxelFeatures]; ``` 3. **决策级融合（晚融合）**： - 各传感器独立处理后再融合结果 - 示例：融合视觉检测框和雷达检测框 - 常用方法：D-S证据理论、贝叶斯推理 ### 三、核心算法 1. **传统方法**： - 卡尔曼滤波（线性系统）： ```matlab [filteredState, cov] = kalmanFilter(sensor1, sensor2); ``` - 扩展卡尔曼滤波（非线性系统） - 粒子滤波（非高斯分布） 2. **深度学习方法**： - **FusionNet**：端到端的多模态融合网络 - **MVX-Net**：点云与图像特征融合 - **TransFusion**：基于Transformer的融合框架 ### 四、Matlab实现示例（卡尔曼滤波融合） ```matlab % 传感器融合示例：位置估计 dt = 0.1; % 采样时间 A = [1 dt; 0 1]; % 状态转移矩阵 H = [1 0; 1 0]; % 观测矩阵 Q = 0.01*eye(2); % 过程噪声 R = [0.1 0; 0 0.2]; % 观测噪声 % 初始化 x = [0; 0]; % 初始状态 [位置; 速度] P = 1*eye(2); % 初始协方差 % 生成模拟数据（两个传感器） true_pos = cumsum(randn(100,1)*0.1); sensor1 = true_pos + randn(100,1)*0.2; sensor2 = true_pos + randn(100,1)*0.3; % 卡尔曼滤波融合 fused = zeros(100,1); for k = 1:100 % 预测 x = A*x; P = A*P*A' + Q; % 更新（融合两个传感器） y = [sensor1(k); sensor2(k)] - H*x; S = H*P*H' + R; K = P*H'/S; x = x + K*y; P = (eye(2) - K*H)*P; fused(k) = x(1); end % 可视化 plot(1:100, true_pos, 'g', 1:100, sensor1, 'r--', 1:100, sensor2, 'b--', 1:100, fused, 'k'); legend('真实位置','传感器1','传感器2','融合结果'); ``` ### 五、挑战与解决方案 1. **时间同步**：采用硬件同步或插值算法 2. **坐标统一**：建立精确标定矩阵 ```matlab T = rigidtform3d([0.1, 0.2, 0.3], [1, 0, 0, 0]); alignedCloud = pctransform(ptCloud, T); ``` 3. **数据关联**：使用匈牙利算法或深度学习匹配 4. **不确定性处理**：概率融合框架（如贝叶斯网络）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值