第6周学习：Vision Transformer ；Swin Transformer；ConvNeXt

原创 已于 2022-08-19 08:28:30 修改 · 723 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #学习 #深度学习

于 2022-08-18 17:56:44 首次发布
本文深入探讨了视觉Transformer网络，包括ViT的结构，如Embedding层、TransformerEncoder和MLPHead，以及其不同版本的性能对比。此外，介绍了SwinTransformer如何改进以降低计算量并提高准确性。最后，提到了ConvNeXt的网络设计，通过调整ResNet50结构以提升性能。这些模型的创新点和参数配置为深度学习研究提供了有价值的参考。
部署运行你感兴趣的模型镜像

Part1 视频学习

Vision Transformer

不同ViT版本的准确率

Vision Transformer网络架构

模型由三个模块组成：

  • Linear Projection of Flattened Patches(Embedding层)
  • Transformer Encoder(图右侧有给出更加详细的结构)
  • MLP Head（最终用于分类的层结构）

在Embedding层，对于标准的Transformer模块，要求输入的是token(向量)序列，即二维矩阵[num_ token, token_ dim]。

在代码实现中，直接通过一个卷积层来实现。以ViT-B/16为例，使用卷积核大小为16x16，stride为16，卷积核个数为768 ，通过卷积[224, 224, 3] -> [14, 14, 768]，然后把H以及W两个维度展平即可[14, 14, 768] -> [196, 768]，此时正好变成了一个二维矩阵。

在输入Transformer Encoder之前需要加上[class]token以及Position Embedding，都是可训练参数
拼接[class]token: Cat([1,768],[196,768])-> [197,768]
叠加Position Embedding:[197,768]->[197,768]。

Transformer Encoder层

Transformer Encoder就是重复堆叠Encoder Block L次，主要由以下部分组成：

  • Layer Norm 对每个token进行Norm处理
  • Multi-Head Attention
  • Dropout/DropPath，在原论文的代码中是直接使用的Dropout层
  • MLP Block，如图右侧所示，就是全连接+GELU激活函数+Dropout，需要注意的是第一个全连接层会把输入节点个数翻4倍[197, 768] -> [197, 3072]，第二个全连接层会还原回原节点个数[197, 3072] -> [197, 768]。

MLP Head层

注意：在Transformer Encoder前有个Dropout层，后有一个Layer Norm。训练ImageNet21K时是由Linear+tanh激活函数+Linear，但是迁移到lmageNet1K上或者你自己的数据上时，只有一个Linear。

ViT-B/16网络结构

 ViT模型的详细参数

Hybrid混合模型特点

  • R50的卷积层采用的StdConv2d，不是Conv2d
  • 将所有的BatchNorm层替换成GroupNorm层
  • 把stage4g中的3个Block移至stage3g

ViT网络与其他网络的性能对比

Swin Transformer

网络整体架构

Swin Transformer与Vision Transformer对比，减少计算量，准确率更高。

 网络整体框架

Patch Merging详解

特征矩阵的高和宽缩减为原来的一半，channel翻倍

 W-MSA详解

目的：减少计算量

缺点：窗口之间无法进行信息交互

W-MSA模块计算量

SW-MSA详解

采用W-MSA模块时，只会在每个窗口内进行自注意力计算，所以窗口与窗口之间是无法进行信息传递的。为了解决这个问题，作者引入了Shifted Windows Multi-Head Self-Attention（SW-MSA）模块，即在第L+1层使用进行偏移的W-MSA。偏移后的窗口，比如对于第一行第2列的2x4的窗口，它能够使第L层的第一排的两个窗口信息进行交流。

目的：实现不同窗口之间的信息交互

划分window过程 

 注意：全部计算完后需要将数据挪回原来的位置上

 Relative Position Bias详解

相对位置编码主要是为了解决Self-Attention中的排列不变性的问题，即不同顺序输入的tokens会得到一样的结果。

 依次进行如下变换：

  Relative Position Bias table

模型详细配置参数 

ConvNeXt

ConvNeXt与Swin性能对比

网络设计：作者将ResNet50中的堆叠次数由（3，4，6，3）调整成（3，3，9，3），stem换成卷积核大小为4，步距为4的卷积层，增大宽度。

 Inverted bottleneck

在较小的模型上准确率由80.5%提升到了80.6%
在较大的模型上准确率由81.9%提升到82.6%

Large kerner size

 Macro designs

 不同网络结构准确率对比，准确率不断提升

 ConvNeXt-T结构图

每个stage都是由ConvNeXt Block组成

个人感想

经过6周的学习，了解了许多不同的网络结构，对深度学习这个领域有了更深入的探索，虽然有一些网络结构目前来说完全掌握还比较困难，但还是希望以后通过更加高效细致的方法来熟练运用它们，未来加油！

您可能感兴趣的与本文相关的镜像

Seed-Coder-8B-Base

Seed-Coder-8B-Base

文本生成
Seed-Coder

Seed-Coder是一个功能强大、透明、参数高效的 8B 级开源代码模型系列，包括基础变体、指导变体和推理变体，由字节团队开源

Kim Taylaa
关注
FAN(Understanding The Robustness in Vision Transformers)论文解读，鲁棒性和高效性超越ConvNeXt、Swin
weixin_38353277的博客
05-05 2672
FAN(Understanding The Robustness in Vision Transformers)论文解读，鲁棒性和高效性超越ConvNeXt、Swin
NeurIPS 22｜Sequencer：完美超越Swin与ConvNeXt等前沿算法
记录学习的小白
10-06 651
本文提出Sequencer，一个全新且具有竞争性的架构，可以替代ViT，为分类问题提供了一个全新的视角。实验表明，Sequencer2D-L在ImageNet-1K上仅使用54M参数，实现84.6%的top-1精度。不仅如此，作者还证明了它在双分辨率波段上具有良好的可迁移性和稳健性。在最近的计算机视觉研究中，ViTViT利用自然语言处理中的实现了最先进的图像分类性能，MLP-Mixer利用简单的多层感知器也实现了具有竞争性的结果。相比之下，一些研究也表明，精心设计的卷积神经网络(CNNs)可以实现媲美。
2025视觉模型终极对决：ConvNeXt与Swin Transformer性能深度测评
最新发布
gitblog_01142的博客
09-22 1223
你是否还在为选择计算机视觉模型而烦恼？面对层出不穷的网络架构，如何在精度与速度间找到完美平衡？本文将通过实测对比当前最热门的ConvNeXt与Swin Transformer两大架构，帮助你一文搞定模型选型难题。读完本文你将获得： - 两种架构的核心差异解析 - 不同硬件环境下的性能表现对比 - 实际应用场景的最优选择指南 - 完整测试代码与模型下载链接 ## 架构解析：传统卷积与Transfo...
【OUC深度学习入门】第6周学习记录：Vision Transformer & Swin Transformer & ConvNeXt
？？的博客
08-19 1084
Vision Transformer & Swin Transformer & ConvNeXt
超越Swin | ConvNeXt V2：结合MAE大升级，媲美ViT！
CV_Autobot的博客
01-08 8984
作者|科技猛兽 编辑|极市平台点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【目标检测】技术交流群后台回复【transformer综述】获取2022最新ViT综述论文！导读本文提出 FCMAE 的框架，这种自监督学习技术和架构改进的协同设计产生了一个 ConvNeXt V2 的新模型，它显著提高了纯 ConvNet 在各种识别基准上的性能。本文目...
超越Swin、ConvNeXt！PAIR提出NAT：相邻注意力Transformer
阿木寺的博客
04-26 726
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童Neighborhood Attention Transformer论文：https://arxiv.org/abs/2204.07143代码（刚刚开源）：https://github.com/SHI-Labs/Neighborhood-Attention-Transformer本文提出了...
第6周学习笔记：Vision Transformer & Swin Transformer学习
usdkey的博客
08-19 709
该模型将Transformer结构直接应用到图像上，即将一张图像分割成多个patches，这些patches看作是NLP的tokens (words)，然后对每个patches做一系列linear embedding操作之后作为Transformer的input。
第6周学习：Vision Transformer &amp； Swin Transformer
qq_37466455的博客
08-19 475
6
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
读书郎
09-02 1786
本文提出了一种新的视觉转换器Swin Transformer，它可以作为计算机视觉的通用主干。将 Transformer 从语言适应视觉的挑战源于两个域之间的差异，例如视觉实体的规模变化很大，以及与文本中的单词相比，图像中像素的高分辨率。为了解决这些差异，我们提出了一个分层 Transformer，其表示是使用 Shifted 窗口计算的。移位窗口方案通过将自注意力计算限制在不重叠的局部窗口上，同时允许跨窗口连接，从而带来了更高的效率。
【代码】swin-transformer: Swin Transformer VS Vision Transformer
nyist_yangguang的博客
07-13 456
在Swin Transformer中使用了Windows Multi-Head Self-Attention(W-MSA)的概念，比如在下图的4倍下采样和8倍下采样中，将特征图划分成了多个不相交的区域（Window），并且Multi-Head Self-Attention只在每个窗口（Window）内进行。相对于Vision Transformer中直接对整个（Global）特征图进行Multi-Head Self-Attention，这样做的目的是能够减少计算量的，尤其是在浅层特征图很大的时候。
Swin Transformer详解: Hierarchical Vision Transformer using Shifted Windows
qq_45122568的博客
05-16 1万+
这篇文章使用和CNN类似的分层提取特征，来达到扩大感受野的效果。是一个特征提取的主干网络，backbone。分层特征提取，不断减小“feature map”的大小（token的数量）。关键部分是Shift window移动窗口（W-MSA、SW-MSA）ViT中使用不重叠的窗口，但是忽略了相邻窗口间的相关性，而Swin-T使用shfit windown移动（M/2）来弥补。但这样会引入很大的计算量，那么作者又提出了cyclic-shift 循环位移，保证计算量不变，但是这样的移动会使得相邻窗口间不相关的部.
Swin-Conv-UNet
whaosoft143ai的博客
07-04 1692
从合成数据集的退化类型上来看，作者提出了实用的噪声退化模型，包含加性高斯白噪声 (Additive white Gaussian Noise, AWGN)，泊松噪声 (Poisson Noise)，斑点噪声 (Speckle Noise)，JPEG 压缩噪声 (JPEG Compression Noise)，相机传感器的处理噪声 (Processed Camera Sensor Noise) 和 图像缩放 (Resizing)。去噪模型的目的是根据后者生成前者，而退化模型的目的是根据前者生成后者。
ConvNeXt网络介绍,搭建以及训练
博客首页
05-01 2万+
ConvNeXt网络介绍 今年(2022)一月份，Facebook AI Research和UC Berkeley一起发表了一篇文章A ConvNet for the 2020s，在文章中提出了ConvNeXt纯卷积神经网络，它对标的是2021年非常火的Swin Transformer，通过一系列实验比对，在相同的FLOPs下，ConvNeXt相比Swin Transformer拥有更快的推理速度以及更高的准确率，在ImageNet 22K上ConvNeXt-XL达到了87.8%的准确率，参看下图。 原
图片分类网络ViT、MobileViT、Swin-Transformer、MobileNetV3、ConvNeXt、EfficientNetV2
qq_56591814的博客
09-27 1万+
本文详细介绍了常用的图片分类网络：ViT、MobileViT、Swin-Transformer、MobileNetV1-V3、ConvNeXt、EfficientNetV1、V2
32_ConvNeXt网络详解
https://github.com/foxpup11?tab=repositories
07-20 6341
ConvNeXt是一种计算机视觉模型，由Meta AI（前Facebook AI）的研究人员在2022年提出，它旨在探索卷积神经网络（CNN）在图像识别任务上的潜力，尤其是在与当时流行的Vision Transformer（ViT）模型相比较时。ConvNeXt设计的核心目标是结合Transformer模型中的设计理念，如大 kernel size、层归一化位置、 MLP结构等，来升级传统的卷积神经网络架构，从而在不牺牲效率的情况下，达到或超越基于Transformer的模型的性能。
适用于分割模型的ConvNeXt——ConvNeXt + +（与项目总结）
m0_59056870的博客
08-11 3766
注：本模型仍在测试与改进阶段，由于解码器部分是由自己借鉴Unet模型设计，如果发现bug或者更好的改进方法设计理念欢迎私信！
ConvNeXt网络详解
热门推荐
霹雳吧啦Wz
01-20 8万+
今年(2022)一月份，Facebook AI Research和UC Berkeley一起发表了一篇文章A ConvNet for the 2020s，在文章中提出了ConvNeXt纯卷积神经网络，它对标的是2021年非常火的Swin Transformer，通过一系列实验比对，在相同的FLOPs下，ConvNeXt相比Swin Transformer拥有更快的推理速度以及更高的准确率，在ImageNet 22K上ConvNeXt-XL达到了87.8%的准确率
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows论文精读
07-09
### Swin Transformer 论文精读：Hierarchical Vision Transformer Using Shifted Windows Swin Transformer 是一种基于视觉的分层 Transformer 模型，其核心创新在于通过 **Shifted Window-based Self-Attention** 实现了线性计算复杂度，同时能够生成多尺度特征表示。这种方法在图像分类、目标检测和语义分割等任务中取得了显著的性能提升 [^2]。 #### 核心架构概述 Swin Transformer 的整体结构分为多个阶段（Stage），每个阶段包含多个 Swin Transformer Block。这些块使用 **窗口化自注意力机制** 和 **移位窗口策略** 来实现高效计算并捕捉长距离依赖关系。 - **分层特征提取** 类似于传统卷积神经网络（如 ResNet），Swin Transformer 采用分层设计来逐步降低空间分辨率并增加通道维度。这种设计允许模型从局部到全局地构建特征表示。 - **窗口划分与移位窗口机制** 在每个 Swin Transformer Block 中，输入特征图被划分为不重叠的窗口，并在这些窗口内执行自注意力计算。为了增强跨窗口的信息交互，在下一个 Block 中对窗口进行移位操作（Shifted Windows）。这种方式既减少了计算量，又保持了模型对全局信息的感知能力 [^1]。 ```python # 窗口划分伪代码示例 def window_partition(x, window_size): B, H, W, C = x.shape # 将图像划分为多个窗口 x = tf.reshape(x, shape=[B, H // window_size, window_size, W // window_size, window_size, C]) windows = tf.transpose(x, perm=[0, 1, 3, 2, 4, 5]) return tf.reshape(windows, shape=[-1, window_size, window_size, C]) # 移位窗口伪代码 def shifted_window_attention(x, window_size, shift_size): B, H, W, C = x.shape # 对特征图进行滚动操作以实现窗口移位 x = tf.roll(x, shift=(-shift_size, -shift_size), axis=(1, 2)) return window_partition(x, window_size) ``` #### 自注意力机制优化 传统的 Vision Transformer（ViT）在整个图像上应用自注意力机制，导致计算复杂度为 $O(n^2)$，其中 $n$ 是图像块的数量。而 Swin Transformer 通过将注意力限制在局部窗口内，将复杂度降低到 $O(n)$，使其适用于高分辨率图像处理 [^4]。 此外，移位窗口机制确保了相邻窗口之间的信息流动，从而避免了局部注意力带来的信息隔离问题。这种设计使得 Swin Transformer 能够在保持计算效率的同时实现全局建模能力。 #### 实验结果与性能优势 Swin Transformer 在多个视觉任务中表现出色： - **ImageNet 分类任务**：Swin-Tiny、Swin-Small、Swin-Base 和 Swin-Large 四种变体均在 ImageNet-1K 上实现了优于其他 Transformer 主干网络的 Top-1 准确率。 - **COCO 目标检测**：在 COCO 数据集上，Swin Transformer 在 Faster R-CNN 框架下达到了 SOTA 性能，mAP 超过之前的最佳方法。 - **ADE20K 语义分割**：在 ADE20K 数据集上，Swin Transformer 作为编码器也取得了领先的 mIoU 指标 [^2]。 #### 消融实验分析 论文还进行了详细的消融研究，验证了以下几个关键组件的有效性： - **窗口大小的影响**：较大的窗口有助于捕捉更广泛的上下文，但会增加计算开销。 - **移位窗口的重要性**：实验证明，移位机制可以显著提升模型性能，尤其是在长距离依赖任务中。 - **不同层级的设计**：通过对比不同层级深度和通道配置，论文展示了如何平衡精度与效率 [^3]。 ---
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值