51-17 视频理解串讲— MViT，Multiscale Vision Transformer 论文精读

已于 2024-02-07 14:14:54 修改
阅读量1.9k 收藏 16
点赞数 17
分类专栏： aiXpilot 智驾大模型1 文章标签： 人工智能 transformer 自动驾驶 智慧城市 gpt-3 迁移学习 计算机视觉
于 2024-01-27 12:25:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45035094/article/details/135864451
版权
本文介绍了Facebook AI的MViT模型，它是Transformer与多尺度分层建模的融合，适用于视频和图像识别。MViT通过在降低空间分辨率的同时增加通道容量，创建多尺度特征金字塔，提高了模型在视觉识别任务中的表现。相较于传统Transformer，MViT在计算和参数效率上有显著优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

继TimeSformer模型之后，咱们再介绍两篇来自Facebook AI的论文，即Multiscale Vision Transformers以及改进版MViTv2: Improved Multiscale Vision Transformers for Classification and Detection。

本文由深圳季连科技有限公司AIgraphX自动驾驶大模型团队编辑。如有错误，欢迎在评论区指正。由于本司大模型组最近组织阅读的论文较多，为理清相互之间的脉络，画草图如下 <->

MViT，Multiscale Vision Transformers

MViT就是Transformer和多尺度分层建模相融合的产物。

Abstract

通过将多尺度、层次性特征的开创性思想与transformer模型联系起来，我们提出了用于视频和图像识别的多尺度视觉transformer，MViT。多尺度transformer有几个channel-resolution扩展过程。从输入分辨率和一个小的通道维度开始，每个stage分层地扩展通道容量，同时降低空间分辨率。这创建了一个多尺度的特征金字塔，其中早期的层以高空间分辨率运行ÿ

了解本专栏 订阅专栏 解锁全文 超级会员免费看
基于Multiscale Vision Transformer的视频动作识别
穿着帆布鞋也能走猫步
04-18 803
本文基于Multiscale Vision Transformer进行视频动作识别，并附录完整代码。
51-18 视频理解串讲— MViTv2：Improved Multiscale Vision transformers for Classification and Detection 论文精读
AIgraphX
01-30 1289
在本文中，作者研究并试图将多尺度视觉transformer(MViTv2)作为图像、视频分类和目标检测的统一架构，结合了分解的相对位置嵌入和残差池化连接，提出了一个改进的MViT版本。
Multiscale Vision Transformers(MViT)
qq_36553572的博客
09-15 1309
多尺度视觉Transformer (MViT)通过引入多尺度特征层次结构，有效提高了图像和视频识别任务中的性能。其结构通过逐步扩展通道数、降低空间分辨率的方式来处理视觉信号，同时使用池化注意力机制降低计算成本，特别适合处理大规模视频数据。
mvit代码
m0_63156697的博客
10-14 827
无
MVIT图像分类 学习笔记 （附代码）
PLANTTHESON的博客
01-10 2167
与在整个网络中保持恒定通道容量和分辨率的传统transformer不同，多尺度transformer具有几个通道分辨率“尺度”阶段。从图像分辨率和小通道维度出发，逐级扩展通道容量，同时降低空间分辨率。这在transformer网络内部创建了一个特征激活的多尺度金字塔，有效地将transformer的原理与多尺度特征层次联系起来。
MViT-code
qq_43894221的博客
10-14 1103
MVIT
MViT（ICCV 2021, Meta）论文解读
00000cj的博客
07-05 1146
MViT解决了现有视觉Transformer依赖大量外部预训练数据且计算和参数消耗大的问题。该模型在无需大规模外部预训练数据的情况下，显著提升了视频识别任务的性能。
【IC-RS】论文13 A Multiscale Grouping Transformer With CLIP Latents for Remote Sensing Image Captioning
安静到无声
05-07 829
遥感图像字幕（RSIC）的研究旨在将遥感图像（RSIs）翻译成自然语言描述，使非专家能够直观地理解图像内容。与传统的RSIs任务（如目标检测[1]、[2]、[3]、[4]和场景分类[5]、[6]、[7]、[8]）相比，RSIC任务进一步阐明了RSIs的丰富信息，并为灾害监测、农业管理和城市规划等广泛的应用领域提供了直观的指导。尽管自然图像字幕（NIC）方面已经有了相当大的进展，但对RSIC的研究仍然很少。
[Transformer]MViTv2:Improved Multiscale Vision Transformers for Classification and Detection
qq_37151108的博客
12-09 5132
MViT:优化的多尺度Transformer用于分类和检测AbstractSection I IntroductionSection II Related WorkSection III Revisting Mulit Scale Vision TransformerSection IV Improved MViTPart 1 Improved Pooling AttentionPart 2 MViT for Object DetectionPart 3 MViT for Video Recognitio
Multiscale Vision Transformers 论文详解
like_jmo的博客
11-21 3811
我们提出了 Multiscale Vision Transformers（MViT）用于视频和图像识别。MViT 是多尺度特征层次结构和Transformer的结合。MViT 有几个通道分辨率尺度块（channel-resoluation scale stages）。从输入分辨率和小通道维度开始，这些stages扩展通道容量，同时降低空间分辨率。这创建了一个多尺度特征金字塔，早些的层在高空间分辨率下运行以模拟简单的低级视觉信息，而更深层在空间粗糙但复杂的高维特征上运行。
Multiscale Vision Transformers 论文阅读
scarlet witcher的博客
12-10 7729
目录一.了解MViT二.介绍MViT1.基本思想2.优势三.MViT模型1.多头池化注意力（Multi Head Pooling Attention）2.多尺度变换器网络(Multiscale Transformer Networks)2.1 Vision Transformer (ViT)2.2 Multiscale Vision Transformers (MViT)四.视频识别实验1.Kinetics-4002.Kinetics-6003.Kinetics-400的消融实验 附：论文地址，代码地址 一
MViT v2（CVPR 2022，Meta）论文与代码解析
00000cj的博客
07-05 2467
本文提出了一种改进的多尺度视觉Transformer (MViTv2)，通过引入分解相对位置嵌入和残差池化连接，来提升图像分类、目标检测和视频分类任务的性能。MViTv2在ImageNet分类、COCO检测和Kinetics视频识别任务中均表现出色，超越了现有的工作。
图像分类，看我就够啦！
啥都生的博客
07-05 2725
图像分类，用我就够啦
[Transformer]MViTv1:Multiscale Vision Transformers
qq_37151108的博客
12-13 4358
MViT:Multiscale Vision Transformers
AbstractSection I IntroductionSection II Related WorkSection III Multiscale Vision TransformerPart 1 Multi Head Pooling AttentionPart 2 Multi-scale Transformer NetworksPart 3 网络实例化细节Section IV Experiments:Video Recogniti
CNN+Transformer算法总结（持续更新）
热门推荐
qq_45752541的博客
08-19 5万+
CNN与Transformer融合的视觉框架介绍
88.8%准确率！FAIR提出：改进多尺度视觉Transformer
阿木寺的博客
12-05 3102
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童Improved Multiscale Vision Transformers for Classifi...
51-2 万字长文，深度解读端到端自动驾驶的挑战和前沿
AIgraphX
02-19 3799
自动驾驶社区见证了采用端到端算法框架的快速增长，这些方法利用原始传感器输入来生成车辆运动规划，而不是专注于检测和运动预测等单个任务。我们对250多篇论文进行了全面分析，深入研究了几个关键挑战，包括多模态、可解释性、因果混淆、稳健性和世界模型等，还讨论了大模型和视觉预训练的当前进展，以及如何将这些技术纳入端到端的自驾框架。
51-33 LDM 潜在扩散模型论文精读 + DDPM 扩散模型代码实现
AIgraphX
03-22 3243
传统扩散模型 DM 是作用在原始像素级上，Latent Diffusion Models 潜在扩散模型 LDM 则是先对图片进行压缩，将图片表示为潜在空间（Latent Space，而不是像素空间），然后输入扩散模型。LDM 模型在主干网络 UNet 中引入 Cross-Attention，可以输入多模态，实现灵活的图片生成控制。
51-57 CVPR 2024 | Cam4DOcc：自动驾驶应用中仅摄像机4D占用预测基准
AIgraphX
06-11 2686
本文提出了一种仅摄像机4D占用预测的新基准Cam4Occ，同时引入端到端时空网络OCFNet，预测当前和未来4D占用。
multiscale Swin transformer
最新发布
01-04
### 多尺度Swin Transformer概述 多尺度Swin Transformer通过引入层次化的特征图表示，在不同尺度上捕捉空间关系，从而增强了模型处理复杂视觉模式的能力[^1]。这种架构设计使得Swin Transformer不仅能够有效提取局部细节信息，还能兼顾全局结构特性。 #### 原理 为了实现多尺度感知能力，Swin Transformer采用了滑动窗口机制来计算自注意力分数。具体来说： - **滑动窗口划分**：输入图像被划分为多个不重叠的小窗口（通常是7×7），每个窗口内独立执行标准的自我关注操作。 - **移位窗口方案**：为了避免相邻窗口间的信息隔离问题，每隔一层会应用一次移位窗口策略，即让部分像素跨越原有边界进入新的窗口范围参与计算，这样可以在一定程度上模拟跨区域交互效果而不显著增加计算量。 这些技术手段共同作用下，实现了高效而灵活的空间建模功能，尤其适合于需要精细分辨的对象检测、语义分割等任务需求。 ```python import torch from timm.models.layers import DropPath, to_2tuple, trunc_normal_ class WindowAttention(nn.Module): """Window based multi-head self attention (W-MSA) module with relative position bias. Args: dim (int): Number of input channels. window_size (tuple[int]): The height and width of the window. num_heads (int): Number of attention heads. """ def __init__(self, dim, window_size, num_heads, qkv_bias=True, attn_drop=0., proj_drop=0.): super().__init__() ... ``` 此代码片段展示了如何定义一个基于窗口的多头自注意力模块`WindowAttention`，它是构建整个网络框架的基础组件之一。 #### 应用场景 得益于上述独特的设计理念和技术特点，多尺度Swin Transformers已被广泛应用于各类计算机视觉挑战赛以及实际工程项目当中，特别是在以下几个方面表现突出： - **目标检测**：由于具备强大的上下文理解力和精准定位优势，因此非常适合用于识别图片中的特定物体实例位置及其类别标签； - **语义/全景分割**：凭借出色的细粒度解析能力和对整体布局的良好把握，可帮助机器更好地理解和描述环境构成要素之间的相互联系； - **姿态估计与动作识别**：对于涉及人体关节关键点预测或是连续帧序列分析的任务而言，该类模型同样展现出了卓越的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

深圳季连AIgraphX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值