UniFormer：用统一多视角融合Transformer构建时空BEV表征

最新推荐文章于 2025-06-08 08:22:13 发布
最新推荐文章于 2025-06-08 08:22:13 发布
阅读量1.3k 收藏
点赞数 1
CC 4.0 BY-SA版权
文章标签： 机器学习 人工智能 深度学习 大数据 计算机视觉
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247488146&idx=3&sn=b90e47a6f9477786a771566f882346c2&chksm=cebb3f5bf9ccb64d31a6a4fdc45346d25097404df50bb6ed8321b0f30b9cffbdc8a40bee6666&scene=126&&sessionid=0

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

arXiv论文“UniFormer: Unified Multi-view Fusion Transformer for Spatial-Temporal Representation in Bird’s-Eye-View“，2022年7月上传，浙江大学、大疆公司和上海AI实验室的工作。

71aaeb60a76ddfa821b0eb2ca7f46437.png

BEV表示是一种基于空域融合的自主驾驶感知形式。此外，时域融合也被引入到BEV表示中，并取得了巨大的成功。这项工作提出一种方法，将空间和时间融合统一起来，并将它们合并到一个统一的数学形式中。统一融合不仅为BEV融合提供了新的视角，而且带来了新的能力。通过提出的统一时空融合，可以支持传统BEV方法难以实现的远距离融合。

此外，BEV融合是时间自适应的，时域融合的权重是可学习的。相比之下，传统方法主要使用固定权重和等权重进行时域融合。并且，所提出的统一融合可以避免传统BEV融合方法中的信息丢失，并充分利用特征。

如图介绍BEV时域融合的方法：从左到右，无时域融合、基于warp的时域融合和提出的统一多视图融合。对于无时域融合的方法，仅在当前时间步长用周围图像预测BEV空间；基于warp的时域融合将上一时间步的BEV空间warp，是一种串行融合方法；统一的多视图融合，是一种并行方法，可以支持远距离融合。

f46fcb336a73a6bcc42f9807e964c975.png

传统的BEV时域融合是基于warp的融合，如图a所示：基于warp的融合基于不同时间步长的自运动来warp过去的BEV特征和信息；由于所有特征在warp之前已经组织在预定义的自车BEV空间中，因此该过程将丢失信息。

47c35b393738cfb4114964270456b78e.png

摄像机的实际可见范围远大于BEV空间的可见范围。例如，对于典型的摄像机来说，100m是一个非常小的可见范围，而大多数BEV范围被定义为不超过52m。通过这种方式，可以获得比简单warpBEV空间更好的BEV时间融合，如图b所示。

adf9e84b225359967b151c69e2a09479.png

为了实现更好的时域融合，提出了一个概念，虚拟视图（virtual view），如图c所示：虚拟视图定义为当前时间步不存在的传感器视图，这些过去的视图根据自车BEV空间旋转和转换，就像实际存在于当前时间步一样。

e58843d6ce226b12e45cbd31c85b5a18.png

如图是BEV融合的模型框架：该网络由主干网、统一多视图融合transformer和分割头三部分组成。

31730b6b22274587f9e085bcced22a19.png

最重要的模块是用于统一多视图时空融合的交叉注意。在统一多视图融合的帮助下，所有时空特征可以映射到同一个自车BEV空间。交叉注意模块的目标是融合和集成映射的时空BEV空间特征。

通过这种方式，用BEV query Q来迭代BEV空间不同位置的特征、时间步、多尺度级和采样高度。可以以统一的方式直接检索来自任何地点和时间的信息，而不会造成任何损失。这种设计还使得远距离融合成为可能，因为无论多久以前的特征，都可以被直接访问，也支持自适应时域融合。

最后一个主要部分是自回归机制。将Transformer的输出与BEV query连接起来作为新输入，并重新运行Transformer获得最终特征。BEVFormer将warp的先前BEV特征与自注意模块之前的BEV query连接起来，实现时域融合。对Transformer的第一次运行，只需将BEV query加倍并叠加做为输入。

在BEVFormer中，warp的BEV特征和BEV query的叠加带来了时域融合，这是性能提高的根本原因。这项工作中，BEV特征和query的连接隐含地加深和加倍了transformer的层数。由于warp的BEV特征已经在之前的时间步让transformer处理，因此叠加视为两个连续transformer的嫁接。这样，无warp的简单自回归可以获得与BEVFormer类似的性能增益。

分割头是ERFNet。

ResNet50、Swin Tiny和VoVNet作为主干网。ResNet50和SWN主干从ImageNet预训练初始化，VoVNet主干从DD3D初始化。Transformer的默认层数设置为12。对于ResNet50和Swin，输入图像分辨率设置为1600×900。

对于VoVNet，用1408×512的图像大小。训练用AdamW优化器，学习速率为2e-4，权重衰减为1e-4。主干的学习速率降低了10倍。批量大小设置为每个GPU 1个，模型用8个GPU训练24个epoch。在第20个epoch，学习率降低了10倍。多尺度特征的数量设置为L=4，先前时间步长的默认数量设置为P=6，采样高度的数量设置为Z=4。高度范围为(−5米，3米]，其中stride是2米。

对于100米×100米设置，用50×50 BEV query来表示整个BEV空间，然后将结果上采样4倍去匹配BEV分辨率。对于60米×30米设置，用100×50 BEV query，其上采样与100米×100米设置类似。对于160米×100米设置，用80×50 BEV query，然后向上采样8x去匹配分辨率。用交叉熵（CE）损失在两种设置下进行训练。

对于类不平衡问题，背景类的损失权重默认设置为0.4。由于100米×100米设置中的道路类别是多边形区域，没有类别不平衡问题，因此道路背景类别的损失权重设置为1.0。

实验结果如下：

183f0c428a1f82c17578bd0613355d39.png

c0c221403fae41db5b4b6129055c813e.png

dbd818e0b1f279bd98cebc166a6f8533.png

8ce3c3da9fa2c603787be0be3ae30611.png

8dc92f8a1f7ff1ea6dc8964420307dbb.png

c86503f3640d0b36322702dd7327ea27.png

27a48b3a15e21bbf6b591e97fe71bf79.png

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D感知、多传感器融合、SLAM、高精地图、规划控制、AI模型部署落地等方向；

加入我们：自动驾驶之心技术交流群汇总！

自动驾驶之心【知识星球】

想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D感知、多传感器融合、目标跟踪）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球（三天内无条件退款），日常分享论文+代码，这里汇聚行业和学术界大佬，前沿技术方向尽在掌握中，期待交流！

8850e666984e639fb9d781763411d55b.jpeg

第二十四章 BEV感知系列一(车道线感知)
专注于人工智能学习，总结
11-04 924
近期参与到了手写AI的车道线检测的学习中去，以此系列笔记记录学习与思考的全过程。车道线检测系列会持续更新，力求完整精炼，引人启示。所需前期知识，可以结合手写AI进行系统的学习。BEV感知系列是对论文的翻译整理，有多处瑕疵，敬请谅解。​ 自动驾驶中的感知识别任务是本质上是对物理的三维几何重建世界。随着传感器的多样性和数量变得自动驾驶的装备越来越复杂车辆(SDV)，表示从不同角度的特征统一的观点至关重要。众所周知的鸟瞰图(BEV)是一种自然而直接的候选视图，可以作为统一的表示。
ICLR2024佳作：多视图Transformer再次升级，直接感知三维几何信息
soaring_casia的专栏
06-07 1213
本机制或可开发一种能够完全通过观察自主获取此类结构信息的算法，特别是寻求一种类似于人类能力的、适用于各种结构形式的通用学习器。
多视角深度图像融合方法综述
05-31
多视角深度图融合方法综述多视角深度图融合方法综述多视角深度图融合方法综述多视角深度图融合方法综述
基于多视角融合的夜间无人车三维目标检测
m0_62870606的博客
01-23 4604
基于多视角融合的夜间无人车三维目标检测 人工智能技术与咨询 来源：《应用光学》，作者王宇岚等 摘 要：为了提高无人车在夜间情况下对周围环境的物体识别能力，提出一种基于多视角通道融合网络的无人车夜间三维目标检测方法。引入多传感器融合的思想，在红外图像的基础上加入激光雷达点云进行目标检测。通过对激光雷达点云进行编码变换成鸟瞰图形式和前视图形式，与红外图像组成多视角通道，各通道信息之间融合互补，从而提高夜间无人车对周围物体的识别能力。该网络将红外图像与激光雷达点云作为网络的输入，网络通过特征提取层、候.
BEV+Transformer：智能驾驶技术革命引爆未来
最新发布
百态老人的博客
06-08 1040
比亚迪通过“订单规模触发议价权（降15%）→ 联合研发精简规格（降20%）→ 垂直整合释放弹性（降5%）”的三级降本引擎，实现供应商成本30%采购层面：427万辆规模撬动百万级订单折扣，地平线芯片采购价直接下探30%；技术层面：推动传感器从“冗余高配”转向“场景够用”，激光雷达线束精简降本60%；生态层面：稳定订单提升供应商产能利用率至95%，晶圆/设备折旧成本再降22%。正如王传福所言：“规模是成本最大的解药。”当新势力苦于激光雷达单价破万时，比亚迪的协同体系正以￥5,000/台。
【MTV】Multiview Transformers for Video Recognition 笔记
salari的博客
03-03 2499
MTV 摘要 MTV由独自分开的encoder组成，并通过横向连接 做了许多消融实验，结果比单个view的准确度高，计算成本低 在五个通用数据集上效果好，在大规模预训练基础上效果更好 引言 图像领域，采用金字塔形多尺度处理表现好，例如slowfast。但由于pooling和下采样部分时空信息丢失； MTV不依靠金字塔结构获取多尺度信息，构建transformer视频理解模型： 慢流用更小的encoder 采用不同‘’view‘，从不同维度提取token，再分别进入transformer横向链接
图像融合算法及多视角（多源）信息融合总结
热门推荐
weixin_44014740的博客
11-26 1万+
图像融合算法及多视角（多源）信息融合总结 -------本文仅为学习笔记，不做任何商业用途------- 前言     在计算机视觉领域下，涉及到对于诸如huamn action recognition等任务时，往往会需要多视角融合来进行分类任务，这就涉及到图像融合以及多源信息融合的相关算法。本文基于上述动机，在搜集和学习了解了相关知识后，对图像融合和多视角（多源）信息融合进行简单总结。 一、图像融合算法     图像融合（Image Fusion）是指将多源信道所采集到的关于同一目标的图像数据经过图像处理
计算机视觉中的图像融合
weixin_49393016的博客
07-31 769
来源：AI公园作者：Nico Klingler编译：ronghuaiyang导读在许多计算机视觉应用中（例如机器人运动和医学成像），需要将多个图像的相关信息整合到单一图像中。这种图像融合可以提供更高的可靠性、准确性和数据质量。多视图融合可以提高图像分辨率，并恢复场景的三维表示。多模态融合则是将来自不同传感器的图像结合起来，也称为多传感器融合。其主要应用包括医学影像、监控和安全等领域。图像融合的层级...
大白话用Transformer做BEV 3D目标检测
Paper weekly
06-07 4355
©作者 | 张恒单位 | 法国国家信息与自动化研究所研究方向 |目标检测、传感器融合如何利用车载环视相机采集到的多张图像实现精准的 3D 目标检测，是自动驾驶感知领域的重要课题之一。针对这个问题，传统的检测方案可以概括为：先利用一个 2D 模型在各自的相机视角获取 3D 检测结果，再通过后处理算法将各个视角的 3D 检测框投影到 ego frame 再组合在一起。这样的...
【精选】OpenCV多视角摄像头融合的目标检测系统：全面部署指南＆源代码
cheng2333333的博客
11-21 3740
【精选】OpenCV多视角摄像头融合的目标检测系统：全面部署指南＆源代码
BEV和Transformer的前世今生
3D视觉工坊
08-27 866
说到纯视觉的自动驾驶方案，大家第一个想到的就是Tesla吧。的确，早在2021年，Tesla就已经实现了纯视觉的BEV检测方案，而且效果非常好。细心的同学可能发现了，这套BEV方案中将相机空间的图像转换到BEV空间的核心组件就是Transformer。Transformer来源于自然语言处理领域，首先被应用于机器翻译。后来，大家发现它在计算机视觉领域效果也很不错，而且在各大排行榜上碾压CNN网络。...
BEV和Transformer对无人驾驶硬件体系的巨大改变
CV_Autobot的博客
02-16 3157
作者|周彦武 编辑|佐思汽车研究点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【BEV感知】技术交流群图片来源：特斯拉BEV+Transformer是目前智能驾驶领域最火热的话题，没有之一，这也是无人驾驶低迷期唯一的亮点，BEV+Transformer彻底终结了2D直视图+CNN时代，BEV+Transformer对智能驾驶硬件系统有着什么样的影...
【图像融合】基于DCT域实现多焦点图像融合含Matlab源码
matlab_dingdang的博客
07-11 1677
在诸如无线视觉传感器网络（wireless visual sensor networks, WVSN）中，多个空间位置相邻的传感摄像头监测同一场景时将获得多幅图像或多个视频序列，但这些图像和视频数据往往存在大量重叠和冗余. 另外，由于传感摄像头聚焦的范围有限，通常难以使场景中所有对象均清晰地成像. 因此，将多个传感摄像头拍摄的图像/视频进行数据融合，不仅能够产生清晰的图像/视频，而且能够消除数据之间的冗余，提高信息的利用率，为图像/视频数据后期处理奠定基础. 这种被称为多聚焦图像融合技术[1-5]已在医学成
[Video Transformer] UniFormer：Unified Transformer for Efficient Spatial-Temporal Representation Lear
Cherry的笔记本
01-14 1766
UniFormer：Unified Transformer for Efficient Spatial-Temporal Representation Learning 论文： https://openreview.net/pdf?id=nBU_u6DLvoK ICLR 2022 1 Introduction 从高维视频中学习多尺度时空语义是很困难的，因为视频帧之间的全局依赖很复杂。 在图1中，TimeSformer在浅层中学习视频信息，但是空间和时间注意力都过于冗余。 空间注意力...
UniFormer(video classfication)部署，测试，pytorch2onnx转模型等
a_cherry_blossoms的博客
04-13 3361
1.UniFormer简介 官方网站自行查看，根据INSTALL.md安装环境，根据DATASET.md准备数据。 2.安装conda环境， conda create -n lyv2 python=3.9 -y 激活conda环境 conda activate lyv2 到pytorch官网找到适配自己cuda的安装命令，我的cuda有10.2，于是我安装 pip install torch==1.10.0+cu111 torchvision==0.11.0+cu111 torchaud
室外场景的多视角视频拼接方法研究
weixin_41484240的博客
06-25 1305
【多尺度混合注意力Transformer：Pansharpening】
weixin_43690932的博客
09-06 2434
Mutiscale Hybrid Attention Transformer for Remote Sensing Image Pansharpening （用于遥感图像泛锐化的多尺度混合注意力Transformer） 泛锐化方法在遥感图像处理中起着至关重要的作用。现有的泛锐化方法普遍存在光谱失真和缺乏空间细节信息的问题。为了缓解这些问题，我们提出了一种多尺度混合注意力转换泛锐化网络(MHATP-Net))。在该网络中，首先通过包含卷积块注意模块(CBAM)和动态卷积块的浅特征提取模块(SFEM)获取浅特征
万字长文 | Transformer在BEV、2D/3D检测上的应用、量化与加速！
CV_Autobot的博客
06-04 1069
作者|小书童 编辑| 自动驾驶之心点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术【模型部署】交流群后台回复【transformer综述】获取2022最新ViT综述论文！近年来，Transformer架构在各种自动驾驶应用中表现出了良好的性能。另一方面，其在便携式计算平台上的专用硬件加速已成为在真正的自动驾驶汽车中实际部署的下一个关键步骤。这篇综...
Uniformer 训练心得
zhubeibei_的博客
06-25 631
按照官方代码进行配，我跑的是uniformer中的object detection。配环境 前前后后经历了三天，现在记得的问题就这些，有疑问的可以问。这是我配环境进行训练的第一个程序，遇到了很多问题，在这里总结一下。work-dirc参数在train.py中直接加入。注意 上面的 等号= 前后一定不要有空格。
uniformer复现video_classification
03-25
<think>好的，我现在需要帮助用户解决关于UniFormer模型在视频分类任务上的复现方法或教程的问题。首先，我应该先理解用户的具体需求。用户提到了UniFormer模型，这是一个结合了Transformer和卷积的模型，用于视频分类。用户可能已经有一定的深度学习基础，但需要具体的步骤和代码指导来复现模型。 接下来，我需要回顾一下已有的参考资料。根据提供的引用，特别是引用[4]和[5]，UniFormer的官方代码库在GitHub上，项目地址是https://gitcode.com/gh_mirrors/un/UniFormer。此外，还有引用[3]提到转ONNX的代码是在CPU上执行的，这可能涉及到模型导出和部署的部分。用户需要的是复现方法，所以可能需要环境配置、数据准备、训练流程、测试和部署等方面的指导。 首先，我应该确定用户需要的是从零开始搭建环境，还是直接使用官方代码库。根据引用[4]，官方代码库存在，所以建议用户克隆仓库并按照文档安装依赖。环境配置部分需要包括Python版本、PyTorch版本、CUDA版本等，这些通常在官方仓库的README或requirements.txt中有说明。 然后，数据准备是关键步骤。视频分类通常需要处理视频数据集，比如Kinetics-400。用户可能需要下载数据集，并按照指定的格式预处理，比如将视频转换为帧，或者调整分辨率和帧数。引用[2]提到UniFormer的动机是高效的时空表示学习，所以数据预处理可能涉及抽帧和存储为特定格式。 接下来是模型训练。用户需要了解如何配置训练参数，比如学习率、批次大小、使用的预训练模型等。可能需要参考官方的配置文件，如引用[3]中提到的test.yaml文件，调整参数以适应自己的硬件环境。同时，分布式训练可能会加速训练过程，特别是对于大规模视频数据。 模型测试和评估部分，用户需要知道如何加载训练好的模型权重，并在测试集上运行评估脚本，得到准确率等指标。这里可能需要使用官方提供的评估脚本，并确保数据路径正确。 此外，模型部署也是用户可能关心的部分，比如将模型转换为ONNX格式，以便在其他平台上运行。引用[3]提到了转ONNX的代码，用户可能需要根据提供的p2o.py脚本进行操作，但需要注意输入输出的张量形状是否符合要求。 在复现过程中，用户可能会遇到常见问题，比如环境依赖冲突、数据预处理错误、显存不足等。需要提前给出一些解决方案，比如使用Docker镜像、调整批次大小、检查数据路径等。 最后，用户可能需要进一步的应用示例或优化方法，比如如何在自定义数据集上微调模型，或者进行模型压缩。这些可以作为扩展内容提供给用户，但需要基于他们的实际需求。 总结一下，回答的结构应该包括环境配置、数据准备、模型训练、测试评估、部署应用以及常见问题解决。每个步骤需要具体说明，并引用官方文档和提供的参考资料，确保用户能够逐步操作。同时，生成的相关问题可以帮助用户深入理解UniFormer模型的其他方面，比如与CNN的对比、优化方法、适用场景等。</think>以下是关于UniFormer模型在视频分类任务上的复现方法及教程的详细说明： --- ### **1. 环境配置与代码获取** **步骤1：克隆官方代码库** UniFormer的官方实现位于GitHub仓库（引用[4]）： ```bash git clone https://gitcode.com/gh_mirrors/un/UniFormer.git ``` **步骤2：安装依赖** 根据仓库中的`requirements.txt`安装Python依赖，需确保以下环境： - Python 3.6+ - PyTorch 1.8+ - CUDA 11.1+ - 支持时空Transformer的扩展库（如`timm`、`einops`） --- ### **2. 数据准备与预处理** **数据集要求** - 常用数据集：Kinetics-400（K400）、Something-Something V2（SSv2） - 数据格式：视频文件需转换为帧序列或直接使用抽帧后的图像存储。 **预处理脚本示例** ```python # 视频抽帧脚本（需FFmpeg支持） import subprocess subprocess.call(f"ffmpeg -i input_video.mp4 -vf fps=30 output_frames/%04d.jpg", shell=True) ``` 需按官方要求调整分辨率（如$224 \times 224$）和帧数（如$16 \times 4$）[^2]。 --- ### **3. 模型训练** **配置文件修改** 参考`exp/uniformer_b16x4_k400/test.yaml`（引用[3]），修改以下参数： ```yaml DATA: DATA_PATH: /path/to/dataset NUM_FRAMES: 16 # 输入帧数 MODEL: PRETRAINED: True # 使用预训练权重 TRAIN: BATCH_SIZE: 64 # 根据GPU显存调整 ``` **启动训练** ```bash python main.py --cfg path/to/config.yaml ``` 支持多卡分布式训练（添加`--multiprocessing-distributed`参数）。 --- ### **4. 模型测试与评估** **加载预训练模型** 官方提供预训练权重（Kinetics-400上准确率约80.6%[^5]），下载后通过以下代码加载： ```python from models.uniformer import uniformer_small model = uniformer_small(pretrained=True) ``` **评估脚本** ```bash python test.py --cfg path/to/test.yaml --resume path/to/checkpoint.pth ``` --- ### **5. 模型导出与应用** **转ONNX格式（引用[3]）** 使用提供的`p2o.py`脚本： ```bash python p2o.py --cfg path/to/test.yaml --onnx_output uniformer.onnx ``` 需注意输入张量形状（如$batch \times 3 \times 16 \times 224 \times 224$）。 --- ### **6. 常见问题与解决** - **显存不足**：减小`BATCH_SIZE`或使用梯度累积。 - **数据集格式错误**：检查帧序列命名是否符合`%04d.jpg`格式。 - **依赖冲突**：建议使用Docker镜像隔离环境。 --- ### **
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值