【SwinTransformer】大杀四方的 Swin Transformer 详解及改进

已于 2023-02-15 22:19:04 修改
阅读量5.6k 收藏 36
点赞数 2
分类专栏： 计算机视觉 文章标签： transformer 深度学习 人工智能
于 2022-07-09 21:33:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44824148/article/details/123965142
版权
本文解析了SwinTransformer的Backbone结构，包括Stage0至Stage4的逐步演变，详细介绍了Patch Merging操作和SwinTransformer Blocks的计算单元。特别关注了窗口自注意力到全局注意力的转变，以及掩码操作的改进。适合理解Swin Transformer在视觉任务中的关键组件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

Swin Transformer

Shifted Window 窗口自注意力到全局自注意力，窗口建模到全局建模。

BackBone

在这里插入图片描述
上图为 Swin-Tiny的网络架构图。

  • Swin-T: C = 96, layer numbers = {2, 2, 6, 2}
  • Swin-S: C = 96, layer numbers ={2, 2, 18, 2}
  • Swin-B: C = 128, layer numbers ={2, 2, 18, 2}
  • Swin-L: C = 192, layer numbers ={2, 2, 18, 2}
Stage 0

Images：224 * 224 * 3 （H * W * 3）
Patch Partition： 56 * 56 * 48 （H/4 * W/4 * 48）

Stage 1

Linear Embedding：56 * 56 * 96 （H/4 * W/4 * C）。类似于卷积操作。

Swin Transformer Block * 2：3136 * 96。

Stage 2

Patch Merging：28 * 28 * 192 （H/8 * W/8 * 2C）。
Swin Transformer Block * 2：784 * 192。

Stage 3

Patch Merging：14 * 14 * 384 （H/16 * W/16 * 4C）。
Swin Transformer Block * 6：196 * 384 。

Stage 4

Patch Merging：7 * 7 * 768 （H/32 * W/32 * 8C）。
Swin Transformer Block * 2：49 * 768。

Patch Merging 操作

Swin Transformer Blocks 计算单元

  1. 进入LayerNorm(层归一化)，然后进行多头自注意力(W-MSA)，进行LayerNorm(层归一化)，进行MLP操作
  2. 进入LayerNorm(层归一化)，然后进行移动多头自注意力(SW-MSA)，进行LayerNorm(层归一化)，进行MLP操作
    在这里插入图片描述

基于窗口自注意力计算复杂度推导

Multi-head Self-Attention模块（MSA）
Window Multi-head Self-Attention模块（W-MSA）

https://blog.youkuaiyun.com/qq_45588019/article/details/122599502
在这里插入图片描述

掩码操作

后续……

改进

测试中，后续更新……

SwinTransformer 改进：SSPCAB模块（2024最新改进方法）
Henry的博客
04-14 472
SSPCAB(Spatial Pyramid Pooling with Channel Attention Block)是2024年提出的一种新型神经网络架构改进方法，专注于在保持高精度的同时显著降低计算复杂度和参数量。该方法通过创新的空间金字塔池化与通道注意力机制的结合，实现了网络结构的紧凑化和运算效率的大幅提升。核心创新点1. 混合空间金字塔池化(Hybrid Spatial Pyramid Pooling, HSPP)多尺度动态核池化：根据输入特征图尺寸动态调整池化核大小和步长交叉级联结构。
Swin-Tiny模型在图像分类中的应用
gitblog_02030的博客
12-17 990
Swin-Tiny模型在图像分类中的应用 cards_bottom_right_swin-tiny-patch4-window7-224-finetuned-v2 项目地址: https://gitcode.com/mirror...
【论文阅读】【2d目标检测】一些swin transformer的改进方案
hgj1h的博客
05-03 2467
随着swin transformer成为best paper。transformer用于2d图像领域更加引起人们的广泛关注，划分框框的方法确实有些笨拙。我也看了一些相关的文章，不过有些文章没有开源出代码来。 记录一下： Vision Transformer with Deformable Attention 论文连接：https://arxiv.org/abs/2201.00520v1 已开源 放心使用 用deformable conv的方法来做transformer不稀奇，之前过def transfor
Swin Transformer V2 的改进和源码分析
xiaoxu1025的专栏
07-11 3092
Swin Transformer V2 的改进和源码分析
Swin Transformer网络架构、相应改进模块的理解
weixin_45074568的博客
01-06 9703
swin-Transformer Transformer越来越火，个人感觉基于Transformer来做视觉真是把矩阵用得出神入化！！ Swin-Transformer相较于VIT改进的方法： SwinT使用类似CNN中层次化构建方法，这样的backbone有助于在此基础上构建检测和分割任务，而VIT中是直接一次性下采样16倍，后面的特征图都是维持这个下采样率不变。 在SwinT中使用Windows Multi-head Self-Attention（WMSA）的概念，在上图中4倍下采样和8倍下采样中，
Swin-Transformer多分类改造
benben044的专栏
07-10 2488
swin-transformer多分类
Swin Trasnformer 新型的Transformer架构，专为计算机视觉任务设计 解决了传统Transformer从自然语言处理迁移到计算机视觉任务时面临的两大问题
万有文的博客
05-09 1683
Swin Transformer是由微软亚洲研究院在今年公布的一篇利用transformer架构处理计算机视觉任务的论文。Swin Transformer 在图像分类，图像分割，目标检测等各个领域已经屠榜，在论文中，作者分析表明，Transformer从NLP迁移到CV上没有大放异彩主要有两点原因：1. 两个领域涉及的scale不同，NLP的token是标准固定的大小，而CV的特征尺度变化范围非常大。
Swin Transformer详解
我的博客
04-28 7969
原创：余晓龙 “Swin Transformer: Hierarchical Vision Transformer using Shifted Window”是微软亚洲研究院（MSRA）发表在arXiv上的论文，文中提出了一种新型的Transformer架构，也就是Swin Transformer。本文旨在对Swin Transformer架构进行详细解析。 一、Swin Transformer网络架构 整体的网络架构采取层次化的设计，共包含4个stage,每个stage都会缩小输入特征图的分辨率，类似于
Swin Transformer 实现图像分类
05-29
Swin Transformer 是一种基于Transformer架构的深度学习模型，由Pengchao Zhang等人在2021年提出，主要用于计算机视觉任务，如图像分类、目标检测和语义分割。相较于传统的卷积神经网络（CNN），Swin Transformer ...
Swin-transformer详解
一去不复返的通信er
12-05 6194
swin transformer详解
Swin Transformer实战：timm中的 Swin Transformer实现图像分类（多GPU）。
02-22
本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，演示如何使用timm版本的Swin Transformer图像分类模型实现分类任务已经对验证集得分的统计，本文实现了多个GPU并行训练。 通过本文你和学到： ...
SwinTransformer 改进：添加SelfAttention自注意力层
Henry的博客
12-22 388
Self-Attention自注意力层是一种在神经网络中用于处理序列数据的注意力机制。它通过对输入序列中的不同位置进行关注，来计算每个位置与其他位置的关联程度，并根据这些关联程度对输入序列进行加权。自注意力层的优势在于它能够利用序列中的局部和全局信息，从而更好地捕捉序列中不同位置之间的依赖关系。在自然语言处理领域中，自注意力层被广泛应用于机器翻译、文本分类和阅读理解等任务中。输出size：torch.Size([1, 10])添加如下：其中sa部分就是添加的模块。想要完整的分类代码，请参考。
Swintransformer模型的优化
算能开发者社区是一个为开发者提供信息传播、开发交流、技术分享的交流空间。
08-07 1754
自从Transformer在NLP任务上取得突破性的进展之后，业内一直尝试着把Transformer用于CV领域。之前的若干尝试都是将Transformer用在了图像分类领域，但这些方法都面临两个非常严峻的挑战，一是多尺度问题，二是计算复杂度的问题。基于这两个挑战，swint的作者提出了一种层级式提取的Transformer，并通过移动窗口的方式来学习特征。在窗口内计算自注意力可以带来更高的效率；同时通过移动的操作，让相邻的窗口之间有了交互，变相达到了一种全局建模的能力，进而解决了上面两个问题。
Swin Transformer 升级，Swin V2：向更大容量、更高分辨率的更大模型迈进
极市平台的技术博客
11-22 2899
作者丨happy 编辑丨极市平台 本文原创首发于极市平台公众号，转载请获得授权并标明出处 论文链接：https://arxiv.org/pdf/2111.09833.pdf 代码链接：https://github.com/microsoft/Swin-Transformer SwinTransformer重磅升级 ！MSRA提出SwinV2，朝着更大容量、更高分辨率的更大模型出发，在多个基准数据集(包含ImageNet分类、COCO检测、ADE20K语义分割以及Kinetics-400动作分类)上取得新
YOLOv8改进 | 主干篇 | SwinTransformer替换Backbone（附代码 + 详细修改步骤 +原理介绍）
Snu77的博客
12-12 9109
本文给大家带来的改进机制是利用Swin Transformer替换YOLOv8中的骨干网络其是一个开创性的视觉变换器模型，它通过使用位移窗口来构建分层的特征图，有效地适应了计算机视觉任务。与传统的变换器模型不同，Swin Transformer的自注意力计算仅限于局部窗口内，使得计算复杂度与图像大小成线性关系，而非二次方。这种设计不仅提高了模型的效率，还保持了强大的特征提取能力。Swin Transformer的创新在于其能够在不同层次上捕捉图像的细节和全局信息，使其成为各种视觉任务的强大通用骨干网络。
SwinTransformer改进（7）：融合ASPP模块
最新发布
2401_82355416的博客
05-05 292
在计算机视觉领域，Transformer架构和空间金字塔池化技术都是提升模型性能的有效手段。本文将深入解析一个结合了Swin Transformer和ASPP（空洞空间金字塔池化）模块的创新图像分类模型实现。模型架构概览这种组合既保留了Transformer对长距离依赖关系的建模能力，又通过ASPP增强了模型捕获多尺度上下文信息的能力。核心组件解析ASPP模块通过四种并行的特征处理路径捕获不同尺度的上下文信息：1x1卷积分支：捕获局部精细特征。
YOLOv10全网最新创新点改进系列：YOLOv10融合SwinTransformer模块，分辨率每层变成一半，而通道数变成两倍,有效提升小目标检测效果！
B站 Ai学术叫叫兽的文案地
07-22 4391
YOLOv10全网最新创新点改进系列：YOLOv10融合SwinTransformer模块，分辨率每层变成一半，而通道数变成两倍,有效提升小目标检测效果！
UNet++ 改进：添加Swin Transformer模块
Henry的博客
04-15 110
Swin Transformer将图像划分为不重叠的窗口(如7×7)，在每个窗口内计算自注意力。Swin Transformer在图像分类、目标检测、语义分割等任务上都取得了优异性能，已成为视觉Transformer的重要基准模型之一。Swin Transformer通过这种巧妙的设计，在计算效率和模型性能之间取得了很好的平衡，推动了视觉Transformer的发展。Swin Transformer是微软亚洲研究院在2021年提出的一种基于Transformer的视觉骨干网络，它通过引入。
swin transformer改进
06-28
### 回答1： Swin Transformer 是一种改进版的 Transformer 模型，它通过采用小型的子网络和结构化的跳跃连接来提高计算效率。这样做的好处是减少了模型的参数数量，并且能够更好地利用跨层的信息。在实际应用中，Swin Transformer 已经证明能够取得较好的性能。 ### 回答2： Swin Transformer是一种新型的Transformer模型，它在图像识别任务中表现出了出色的性能。该模型通过将输入图片分割成小的块，并在这些小块上进行自注意力计算，以实现高效的图像特征提取。 虽然Swin Transformer已经在图像识别领域取得了很大的成功，但是它仍然存在一些改进空间。以下是对Swin Transformer的一些改进建议： 1. 更好的块划分方式 目前Swin Transformer采用的是固定大小的块进行分割，这可能会导致一些边缘像素被切分到不同的块中，进而导致不连续的特征。应该考虑采用更精细的块划分方式，以实现更准确的特征提取。 2. 添加局部连接 局部连接是指在模型中引入一些局部的连接，以促进局部信息的传递和特征提取。在Swin Transformer中，由于全局自注意力机制的存在，可能会导致一些局部信息被忽略。因此，可以考虑添加一些局部连接，以便更好地综合全局和局部信息。 3. 改进跨层连接 Swin Transformer的跨层连接采用了类似于ResNet的残差结构，但在不同尺度的特征融合上存在一些问题。可以考虑采用更先进的跨层连接方式，如SENet或SKNet，以实现更好的特征融合和捕捉。 4. 引入多尺度特征 当前Swin Transformer只关注单个尺度的特征，忽略了多个尺度的特征对于图像识别的贡献。因此，可以考虑引入多尺度特征，通过同时关注不同尺度的特征，以提高模型的性能。 综上所述，Swin Transformer已经成为了图像识别领域的研究热点之一，随着模型的不断改进，我们相信Swin Transformer在这一领域中将持续发挥重要作用。 ### 回答3： Swin Transformer（Shifted Window Transformer）是一种新型的Transformer模型结构，它在自然语言处理、图像识别和目标检测等领域中取得了显著的成果。Swin Transformer至少有两个改进。 首先，Swin Transformer结构中引入了移位操作（shift operation），可以将输入数据划分为多个子块，然后在两个相邻子块之间进行转移学习。移位操作有助于扩大Swin Transformer的视野，从而允许模型在应对不同尺度的输出张量时具有更强的表现力。 其次，Swin Transformer还引入了分组卷积机制（group convolution），这种技术可以将卷积层分为多个组，其中每个组有自己的权重参数。在Swin Transformer中，适当的分组卷积可以减少计算量、提高并行度，从而使得模型在不牺牲精度的前提下实现更高的效率。值得一提的是，Swin Transformer中的分组卷积也有助于增强模型的跨模态表现能力，从而更好地解决了多模态数据的问题。 综上所述，Swin Transformer具有移位操作和分组卷积的两项改进，这些改进使得Swin Transformer具有更长的视野和更强的表现能力，而且更加高效。 它的广泛应用，加速了图像识别、语音识别、自然语言处理等模型的发展，将为人工智能和机器学习技术的不断进步提供更加强大的支持。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

莫余

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值