Swin Transformer中的数据形状梳理

最新推荐文章于 2025-03-31 16:21:53 发布
原创 最新推荐文章于 2025-03-31 16:21:53 发布 · 1.2k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

本文详细介绍了SwinTransformer的工作原理，从原始输入的图像开始，经过PatchEmbed层进行图像切分与编码，接着通过Swin-transformer层进行窗口自注意力操作，包括位移操作、窗口分割、多头自注意力机制等。之后，利用PatchMerging层进行特征融合，逐步扩大感受野。整个过程展示了SwinTransformer如何在不同尺度上捕获图像信息，以实现高效的视觉表示学习。

Swin Transformer中的数据形状梳理

关键零件内部数据形状

PatchEmbed层

原始输入x形状为(b, 3, 224, 224)
PatchEmbed层完成embedding的过程
第一步还是对图片进行Patch分割与embedding编码
patch_size=4, embed_dim=96，使用96个卷积核44的卷积层以步长为4卷积进行
得到输出x形状为(b, 5656, 96) -> (b, 3136, 96)

输入形状为 (b, 3136, 96)

Swin-transformer层

输入形状为 (b, 3136, 96)
Swin-tran层
先变为(b, 56, 56, 96)
如果是SW-MSA需进行位移操作，操作完成后仍是(b, 56, 56, 96)
经过window_partition层
经过窗口分割窗口尺寸为7，因此最终有64个窗口，因而分割后变成为(b64, 7, 7, 96)，之前5656的矩阵中每个点96个编码值对应原图中一个44的一个patch，经过窗口分割，此时77的矩阵中每个点仍有96个编码值对应原图中仍是一个44的patch，即不改变感受野，且自注意力机制发生在这77=49个patchs之间。
输出为(b64, 7, 7, 96)
先变为(b64, 49, 96)
正式开始窗口自注意力操作层
对于形状是(b64, 49, 96)的输入数据先通过mlp生成QKV矩阵(b64,49,963),则经过拆分后Q,K,V为(b64,49,96)，由于有3个头，Q,K,V为(b64, 3, 49, 32)，即Q，K，V的原始长度与输入embedding编码的长度

最低0.47元/天 解锁文章
transformer中输入形状随着每层处理所发生的变化
qq_45809323的博客
12-24 692
【代码】transformer中输入形状随着每层处理所发生的变化。
Swin Transformer 时间复杂度的分析
澜静的博客
11-16 3511
Swin Transformer与Vision Transformer的MSA时间复杂度分析
关于transformer的输入形状问题
星星超幸运的博客
10-19 365
输入形状是[seq,bs,h]。输出也是[seq,bs,h]。详情我还暂时没法说。
Swin-Tranformer
weixin_42430979的博客
12-23 245
SwinTranformer在多项任务中表现很好，SwinTranformer进行了分层处理下采样的同时特征图翻倍。patch embedding可以通过更改卷积大小，实现不同大小的输入。window_partition就是对图片进行reshape操作，将特征图按照窗口大小划分（3,64,3,49,32）qkv三个矩阵，64个窗口，每个窗口由7*7=49个token组成，每一个token由3头注意力机制来搞定的，每一个头解决32维的向量。
transformer
Claire的博客
11-26 992
文本嵌入层的作用无论是源文本嵌入还是目标文本嵌入，都是为了将文本词汇的数字表示转变为向量表示，希望在这样的高维空间捕捉词汇间的关系。
Transformer(已修改)
liuyingshudian的博客
02-05 1127
transformer
Swin Transformer对CNN的降维打击
KG_181的博客
05-04 948
Resolution：假设一张图像的分辨率为224x224，这里所说的224就是像素。 Patch：所谓的Patch就是由多少个像素点构成的，假设一个patch的size为4x4，则这个patch包含16个像素点。 Window：window的size是由patch决定的，而不是由像素点，假设window的size为7x7，则该window包含49个patch，而不是49个像素点。 在对swin-transformer网络进行讲解之前，我们首先需要明确一点：无论是transformer还是s..
从 AlexNet 到 Swin Transformer：计算机视觉架构演进图谱
最新发布
u012374012的专栏
03-31 1343
在计算机视觉领域，模型架构的演进宛如一场精彩绝伦的技术接力赛，从早期的 CNN 逐步过渡到如今大放异彩的 Transformer，每一次关键节点的突破都为整个领域注入了强大的动力，推动着视觉任务的性能迈向新的高度。本文将沿着时间轴，梳理这一演进路径中具有里程碑意义的模型以及 Transformer 的突破性成果，展现技术迭代的脉络。
Swin-Transformer:基于通用变压器的视觉骨干
03-30
变形金刚 作者：*，*，*，*，，，和。 此回购协议是的正式实现。 该代码即将推出。 介绍 Swin Transformer最初在描述，它可以用作计算机视觉的通用骨干。 在两个领域之间的差异，例如视觉实体规模的巨大差异以及与文字中的单词相比，图像中像素的高分辨率，带来了使Transformer从语言适应视觉方面的挑战。 为了解决这些差异，我们提出了一个分层的Transformer，其表示是通过移动窗口来计算的。 通过将自注意计算限制为不重叠的局部窗口，同时允许跨窗口连接，移位的窗口方案带来了更高的效率。 这种分层体系结构具有在各种规模上建模的灵活性，并且相对于图像大小具有线性计算复杂性。 Swin变形金刚的这些品质使其可与多种视觉任务兼容，包括图像分类（ImageNet-1K的准确度为86.4最高-1）和密集的预测任务，例如目标检测（COCO测试中为58.7箱式AP和51.1遮罩式AP）
【SwinTransformer源码阅读一】build_loader部分代码
丑小鸭
07-15 1143
记录下SwinTranformer的阅读
Vision Transformer中的数据形状梳理
Sircollector的博客
05-11 604
(b, 3, 224, 224)形状的图片进入Vision Transformer后的形状变化
swin_Tranformer使用netron可视化
DingJuly的博客
05-19 918
swin Transformer模型使用netron可视化
Swin-Transformer 详解
欢乐的小树的博客
05-24 8773
用动画深入解释Swin-Transformer
SETR：将transformers用于语义分割
热门推荐
AI数据工厂
03-11 1万+
SETR作为transformer入侵语义分割领域的一个战果，其通过使用transformer代替encoder，从而获取大感受野以充分建模全局上下文信息。这篇博客是SETR的通读与大意翻译。
利用Transformer来进行目标检测和语义分割
XP and Altoria
04-01 2919
介绍 这次介绍的是Facebook AI的一篇文章“End-to-End Object Detection with Transformers” 恰好最近Transformer也比较热门，这里就介绍一下如何利用Transformer来进行目标检测以及语义分割。 关于Transformer，可以参考我的这篇文章。 这里我简要地介绍一下Transformer，这是一个用于序列到序列建模的模型架构，被广泛应用于自然语言翻译等领域。Transformer抛弃了以往对序列建模的RNN形式的网络架构，引入了注意力机制，
（9-3-01）大模型Transformer：基于Vision Transformer的语义分割项目：扣取图像（1）
码农三叔
04-17 2031
（7）使用 库Hugging Face Transformers加载了一个预训练的 BEiT（Be Vision Transformer）模型（microsoft/beit-base-finetuned-ade-640-640）以及相应的图像处理器，接着将图像输入到模型中，获取模型的输出。（4）使用函数plt.imshow()显示分割后的图像，注意，如果 panoptic_seg 是一个分割标签的二维数组，你可能需要使用一个 colormap 来为不同的标签分配不同的颜色，以便更清晰地可视化语义分割结果。
Swin-Transformer（2021-08）
GY-赵的博客
06-25 1254
一直到写下这篇笔记开始，基于Swin的模型仍在paperwithcode上仍然霸榜Object Detection等多个榜单。 很多博客都已经介绍的非常详细了，这里只记录一下自己学习过程中遇到的困惑。 Swin与ViT的对比，ViT将image划分为固定大小的patch，以patch为单位进行attention计算，计算过程中的feature map 分辨率是保持不变的，并且ViT为了保持与NLP的一致性，添加了一个额外的class token，最后用于分类。因此ViT不太适用于检测等下游任务，无法提取多
transformer概述和swin-transformer详解
m0_60524373的博客
01-12 4055
transformer和swin-transformer
理解Swin Transformer（结合代码）
Orange_sparkle的博客
09-09 2598
1）输入一张RGB彩色图片2）经过PatchEmbed层得到shape=[H/4, W/4, embed_dim]的特征矩阵3）通过循环设置的BasicLayer（Swin Transformer Block + Patch Merging）结构得到shape=[H/32, W/32, embed_dim*8]的提取出来的特征图4）通过最后的head进行分类，head包括全局平均池化，输出shape=[B, C, 1]，再通过全连接层，输出维度为类别数，得到分类结果。
swin transformer中数据维度变化
05-27
在Swin Transformer中，数据维度的变化主要是通过窗口化操作（windowing）和层次化操作（hierarchical partitioning）实现的。 窗口化操作将输入图像分割成若干个大小相同的小块，每个小块称为一个“视窗”（window...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值