ECCV2022 | BEVFormer

原创 已于 2024-03-08 16:48:10 修改 · 444 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#目标跟踪 #3d #计算机视觉 #深度学习

于 2023-11-09 19:29:57 首次发布
本文详细介绍了BEVFormer的架构，包括ResNet-101-DCN+FPN的backbone和neck，Encoder的TemporalSelf-Attention和SpatialCross-Attention模块，以及Decoder的3D目标检测过程。重点讨论了输入数据格式、特征提取、BEV特征生成、正负样本定义和损失计算等关键环节。

转载自: 万字长文理解纯视觉感知算法 —— BEVFormer - 知乎

BEVFormer 的 Pipeline

  • Backbone + Neck （ResNet-101-DCN + FPN）提取环视图像的多尺度特征；
  • 论文提出的 Encoder 模块（包括 Temporal Self-Attention 模块和 Spatial Cross-Attention 模块）完成环视图像特征向 BEV 特征的建模；
  • 类似 Deformable DETR 的 Decoder 模块完成 3D 目标检测的分类和定位任务；
  • 正负样本的定义（采用 Transformer 中常用的匈牙利匹配算法，Focal Loss + L1 Loss 的总损失和最小）；
  • 损失的计算（Focal Loss 分类损失 + L1 Loss 回归损失）；
  • 反向传播，更新网络模型参数；

接下来文章作者将从输入数据格式，网络特征提取，BEV特征产生，BEV 特征解码完成 3D 框预测、正负样本定义、损失计算这六个方面完成 BEVFormer 的解析；

输入数据格式

对于 B

最低0.47元/天 解锁文章
HHHHGitttt
关注
【BEV】BEVFormer总结
m0_51579041的博客
06-19 1883
【BEV】BEVFormer总结
【BEV感知】BEVFormer 融合多视角图形的空间特征和时序特征 ECCV 2022
黎国溥
12-17 7941
本文分享BEV感知方案中，具有代表性的方法：BEVFormer。基本思想：使用可学习的查询Queries表示BEV特征查找图像中的空间特征和先前BEV地图中的时间特征。它基于Deformable Attention实现了一种融合多视角相机空间特征和时序特征的端到端框架，适用于多种自动驾驶感知任务。主要由3个关键模块组成：BEV Queries Q：用于查询得到BEV特征图Spatial Cross-Attention：用于融合多视角空间特征。
【BevFormer】介绍和笔记
Aaron_zzc的博客
01-24 2057
【BevFormer】介绍和笔记
BEVFormer：多相机时空Transformer架构详解
最新发布
oRS_rpam的博客
10-13 274
BEVFormer 是一种基于 Transformer 的架构，旨在通过多相机输入生成鸟瞰图（BEV）表示。其核心思想是利用时空Transformer编码器捕捉多相机图像中的时空特征，并通过可学习的BEV查询生成统一的BEV特征图。多相机图像编码器：提取每张相机的图像特征。时空Transformer编码器：融合多相机特征并建模时序信息。BEV查询机制：通过可学习参数生成BEV特征图。
BEVFusion、BEVFormer方法总结
07-21 3002
这样可以避免相机到激光雷达的投影造成的特征密度损失，提高融合的效果。如Figure 1所示，目标是查询自车前方黑色线框处目标信息，方法主要包括两部分：一，基于空间交叉注意力机制对多不同视角摄像头图像特征的查询；BEVFormer原理是通过利用多视角相机图像生成BEV特征并进行3D目标检测的方法，该方法使用了一个基于变换器的编码器和一个基于残差连接的多层感知机编码器，其中通过空间交叉注意力模块实现不同视角摄像头的特征提取，通过时间自注意力模块实现历史特征和当前时刻特征相关性信息的提取。
BEVFormer
qq_35661896的博客
08-23 804
3D检测任务：使用边界框分类和回归损失3D分割任务：采用点云/网格分类损失设计特点：损失函数完全由下游任务决定，BEVFormer核心架构保持任务无关性。
(BEV论文精读2)ECCV 2022|BEV经典之作：BEVFormer
qq_55794606的博客
02-02 1656
BEVFormer 利用空间和时间信息,通过预定的网格状 BEV 查询向量与空间和时间域交互。为了聚合空间信息,我们设计了一个空间交叉注意力,每个BEV查询向量从跨相机视图的感兴趣区域提取空间特征。对于时间信息,我们提出了一种时间自注意力来递归融合历史 BEV 信息。我们的方法在nuScenes测试集上的 NDS 指标达到了最新的 56.9%,比之前的最佳技术高出 9.0 分,与基于 lidar 的基线性能相当。
ECCV2022 | BEVFormer原文翻译
usernameisnotexist的博客
03-14 1634
三维视觉感知任务，包括基于多摄像头图像的三维检测和地图分割，对于自动驾驶系统至关重要。在这项工作中，我们提出了一个名为 BEVFormer 的新框架，它利用时空变换器学习统一的 BEV 表征，以支持多种自动驾驶感知任务。简而言之，BEVFormer 通过预定义的网格状 BEV 查询与空间和时间进行交互，从而利用空间和时间信息。为了聚合空间信息，我们设计了空间交叉关注，使每个 BEV 查询都能从跨摄像头视图的感兴趣区域提取空间特征。对于时间信息，我们提出了时间自关注，以反复融合历史 BEV 信息。
文献总结：ECCV2022-BEVFormer
m0_47211450的博客
04-12 1253
BEVFormer能够高效地聚合空间和时间信息，并生成强大的鸟瞰图（BEV）特征，这些特征可同时支持3D目标检测和地图分割任务。
【BEV-former简读】
MaxeeoveCR的博客
04-03 1540
paper:git:三个部分: back-bone(ResNet-101), spatial cross-attention module, temporal self-attention module。
BEV学习笔记之-BEVFormer
于小咸的博客
04-10 1117
相比于 LSS，BEVFormer 的代码复杂了许多，不是一个单独的代码库，而是基于 MMLab 的框架开发，使用了许多封装好的模块与函数，比如 Deformable Attention 就是用 CUDA 实现的
[BEV] 学习笔记之BEVFormer(一)
Rex大居
12-24 5580
BEVFormer
BEV学习笔记：BEVFormer
weixin_49478680的博客
12-15 1287
在3D空间中的每一个位置都能获得2D空间的投影图像特征，因此可以产生密集的BEV特征，有些工作，如DETR3D，只选取自己感兴趣的3D空间区域，来投影回图像特征，但是这样可能会产生错误的BEV特征，因为3D空间投影回2D空间是经过一个射线，而3D空间的位置有可能本身就是错的。OFT、DETR3D、BEVFormer，这些工作都是预先定义一个3D空间中的锚点，利用相机的参数，将3D锚点投影回2D空间，那么就认为，这个2D空间上的特征就是3D空间上的特征。考虑两个问题：如何选择所需要的特征？
BEVFormer详解
MAX的专栏
04-02 4183
BEVFormer 是将Transformer架构的自注意机制与BEV视图中3D检测结合起来的一种纯视觉目标检测方案。对于纯视觉的BEV检测方案，其中的重中之重就是如何将2D的图像特征映射到3D空间的BEV栅格，既然是映射关系，那就有前行投影和反向查询两种机制。前向投影是基于深度估计的方法，参考基于深度估计的BEV视图转换方法，典型代表为LSS。反向查询方法思路为先将BEV栅格在Z方向上进行lift提升，然后再映射到图像特征图上进行特征查询。BEVFormer 就是基于这种机制进行2D图像特征到3D空间的B
四. 基于环视Camera的BEV感知算法-BEVFormer
周同学的博客
12-10 3289
四. 基于环视Camera的BEV感知算法-BEVFormer
BEVFormer：基于Transformer的自动驾驶BEV纯视觉感知
热门推荐
Paper weekly
06-21 1万+
作者 | 李志琦单位 | 南京大学/上海人工智能实验室研究方向 | 基于注意力机制的视觉感知BEVFormer 很荣幸参与到最近这波 BEV 感知的研究浪潮中，我们从开源社区中受益良多，也希望尽我们所能为社区做出我们自己的贡献，希望未来与社区一道共同构建更加安全可靠的自动驾驶感知系统。引言TL; DR：本文提出了一套基于 Transformer 和时序模型在鸟瞰图视角下优...
用BEVformer来卷自动驾驶-3
周博洋的博客
01-09 858
通过这个全连接层，你算出来4个绿色的点，这就立马不一样了，不但不用每个向量你都去求解（省时省力），而且，每个橙色的点，对应算出来的4个绿色的点，是不一样的（有针对性，其实是时序针对性，不过复杂对被框架给屏蔽了），这就是可变attention机制的由来。按照下图说，比如我要求橙色箭头上对应的这个点的特征，那如果我想求出这个点的特征，要和其他6个矩阵中的哪几个矩阵去做乘法呢（没错其实就可以简单理解成矩阵乘），如果我要全做，那这个框架等于没意义。但是我是不是非要和周围的4个点做呢，对我的检测意义大吗？
【万字解析，超详细！】BEVFormer——首篇使用纯视觉算法实现BEV感知的文章（自动驾驶入门必看）
qq_50001789的博客
12-21 3463
BEV特征是连接时间和空间的理想桥梁，这也是自动驾驶任务中使用BEV特征执行感知任务的另一个动机。对于人类的视觉感知系统而言，时间信息在推理物体的运动状态和识别被遮挡的物体方面起着至关重要的作用，许多视觉领域的工作已经证明了使用视频数据的有效性。然而，现有基于多摄像头的3D目标检测算法很少利用时间信息，在自动驾驶任务中，场景物体变化很快，简单地叠加跨时间戳的BEV特征会带来额外的计算成本和干扰信息。受递归神经网络（RNN）的启发，作者利用BEV特征递归地传递从过去到现在的时间信息
ECCV 2022
07-24
ECCV（European Conference on Computer Vision）是计算机视觉与模式识别领域的顶级学术会议之一，每两年举办一次，2022年为第十七届（ECCV 2022）。 ### 会议基本信息 - **会议名称**：ECCV 2022（European Conference on Computer Vision） - **时间**：2022年10月23日 - 10月27日 - **地点**：以色列海法（Haifa, Israel）[^1] - **主办单位**：European Association for Computer Vision (EACV) ECCV 2022采用了线上线下混合会议形式，以适应全球学者的参与需求。 ### 会议内容与主题 ECCV 2022涵盖了计算机视觉领域的广泛研究方向，包括但不限于： - 图像与视频理解 - 深度学习与视觉表示 - 目标检测与跟踪 - 三维视觉与重建 - 视觉推理与认知 - 多模态学习 - 视觉与自然语言处理的结合 - 计算摄影与图像处理 - 自动驾驶与机器人视觉 会议接收的论文不仅包括理论研究，也包含大量实际应用成果。 ### 会议论文与接收情况 ECCV 2022共收到有效投稿约4,400篇，最终接收论文约1,500篇，接收率约为34%。会议论文集由Springer出版，分为多个LNCS（Lecture Notes in Computer Science）卷册，内容涵盖主会议论文、研讨会论文及挑战赛论文等。 部分热门研究方向包括： - Vision Transformers - 自监督学习与对比学习 - 多任务学习与模型压缩 - 图像生成与风格迁移 - 视觉问答与跨模态检索 ### 会议日程（Schedule Highlights） ECCV 2022的主要日程安排如下： - **10月23日**：注册与欢迎活动、部分workshop - **10月24日 - 26日**：主会议（Keynote演讲、oral论文报告、poster展示） - **10月27日**：Workshop & Tutorial专场 会议期间还举办了多个卫星研讨会（Workshops）和挑战赛（Challenges），如： - Vision Transformers Workshop - Efficient Vision Models - Autonomous Driving and Robotics - AI for Earth Observation ### 特邀演讲嘉宾（Keynote Speakers） ECCV 2022邀请了多位国际知名学者进行主题演讲，包括： - Prof. Jitendra Malik（UC Berkeley） - Prof. Cordelia Schmid（Google Research） - Prof. Martial Hebert（CMU） - Prof. Daniel Szeliski（Facebook AI） ### 示例代码：使用Vision Transformer进行图像分类（PyTorch） ```python import torch from torchvision import transforms from timm import create_model # 加载预训练的Vision Transformer模型 model = create_model('vit_base_patch16_224', pretrained=True) model.eval() # 图像预处理 transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean=[0.5, 0.5, 0.5], std=[0.5, 0.5, 0.5]) ]) # 输入图像处理与预测 from PIL import Image img = Image.open('example.jpg') img_tensor = transform(img).unsqueeze(0) with torch.no_grad(): output = model(img_tensor) predicted_class = torch.argmax(output, dim=1).item() print(f"Predicted class index: {predicted_class}") ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值