Swin-Tranformer

于 2024-12-23 23:18:07 发布
阅读量199 收藏 4
点赞数
文章标签： 人工智能 transformer 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42430979/article/details/143557932
版权

 一、整体概述

SwinTranformer在多项任务中表现很好，SwinTranformer进行了分层处理

下采样的同时特征图翻倍。 

 patch embedding可以通过更改卷积大小，实现不同大小的输入。

 window_partition就是对图片进行reshape操作，将特征图按照窗口大小划分

 （3,64,3,49,32）qkv三个矩阵，64个窗口，每个窗口由7*7=49个token组成，每一个token由3头注意力机制来搞定的，每一个头解决32维的向量

attention 中49*49是窗口内部49个特征值如何进行重组

 

二、滑动窗口

为什么要做滑动窗口，因为要考虑各窗口内部的关系

 窗口移动，计算量没有增加。mask机制得到固定希望的位置

 W-MSA和SW-MSA得到的结果与输入的特征图大小相同，SW-MSA相较W-MSA多了偏移和mask的步骤

Swin-Transformer详解
走在深度学习前沿的小宋
05-24 7309
Swin-Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得的荣誉称号。虽然在图像分类方面的结果令人鼓舞，但是由于其低分辨率特性映射和复杂度随图像大小的二次增长，其结构不适合作为密集视觉任务或高分辨率输入图像的通过骨干网路。为了最佳的精度和速度的权衡，提出了Swin-Transformer结构。
YOLOv8改进 | 主干网络 | 在backbone添加Swin-Transformer层【论文必备】
kay_545
05-15 1618
YOLOv8改进，Swin-Transform，YOLOv8添加Swin-Transform
Swin-Transformer:基于通用变压器的视觉骨干
03-30
变形金刚 作者：*，*，*，*，，，和。 此回购协议是的正式实现。 该代码即将推出。 介绍 Swin Transformer最初在描述，它可以用作计算机视觉的通用骨干。 在两个领域之间的差异，例如视觉实体规模的巨大差异以及与文字中的单词相比，图像中像素的高分辨率，带来了使Transformer从语言适应视觉方面的挑战。 为了解决这些差异，我们提出了一个分层的Transformer，其表示是通过移动窗口来计算的。 通过将自注意计算限制为不重叠的局部窗口，同时允许跨窗口连接，移位的窗口方案带来了更高的效率。 这种分层体系结构具有在各种规模上建模的灵活性，并且相对于图像大小具有线性计算复杂性。 Swin变形金刚的这些品质使其可与多种视觉任务兼容，包括图像分类（ImageNet-1K的准确度为86.4最高-1）和密集的预测任务，例如目标检测（COCO测试中为58.7箱式AP和51.1遮罩式AP）
swin Transfomer
qq_47432746的博客
03-11 430
对比ViT,如下图所示，ViT是固定把图像分为固定的patch，并在全局做自注意力，会带来两个坏处：1、随着输入图像分辨率的提高，其计算量为平方级的增长。2、对于分割、检测这类任务，没有提取到图像多尺度的信息。因此Swin Transformer解决了上述的问题，他将图像打成patch，patch大小不依，如上图，将16个patch又放进window中，每个window中做自注意力，1、可以提取多尺度的信息，方便后续的分割检测任务。2、这样做的计算量是随着图像分辨率成线性增长的。
Swin Transformer：屠榜各大CV任务的视觉Transformer模型
机器学习社区
05-16 1346
Swin Transformer是一种新型的Transformer架构，专为计算机视觉任务而设计。它引入了基于移动窗口的自注意力机制，并采用了层级式的特征表达方式，使得模型在计算复杂度和性能之间取得了平衡。Swin Transformer 模型在论文Swin Transformer: Hierarchical Vision Transformer using Shifted Windows中提出。Swin Transformer：使用移位窗口的分层视觉Transformer。
Swin Transformer详解
芒果干的博客
11-27 1万+
Swin Transformer详解一、整体架构二、拆解Swin Transformer1. Patch Partition & Linear Embedding2. Swin Transformer Block（1）第一个BlockW-MSA模块window partitionwindow attentionMLP（2）第二个BlockSW-MSA模块3. Patch Merging三、相对位置偏置 论文地址：https://arxiv.org/pdf/2103.14030.pdf 代码地址：ht
经典模型代码学习--swin-transformer（图文代码讲解）
热门推荐
weixin_62371528的博客
02-06 1万+
经典模型代码学习--swin-transformer（图文代码详细讲解），打开不亏！
Swin-transformer详解
一去不复返的通信er
12-05 6308
swin transformer详解
swin_Tranformer使用netron可视化
DingJuly的博客
05-19 839
swin Transformer模型使用netron可视化
【亲测】Swin-Transformer 自定义数据集图像分类
丑小鸭
10-20 7092
Swin-Transformer是当前热门的深度学习框架，适用于多种视觉任务，相关的原理，网上有很多资源，大家可自行查看，这里主要介绍其在图像分类方面的代码调试经验，方便各位快速上手实验。Swin-Transformer代码链接点击进入 实验环境及配置： Pytorch: 1.7.1 CUDA: 10.1.243 版本（使用 nvcc --version 查看） GPU：显存8G 操作系统： Centos 7 1 环境配置 其实根据官方的配置步骤，可以实现快速的配置，但是在进行到 Nvidia ap
第二十五周：文献阅读笔记（swin transformer）
weixin_45409613的博客
12-24 1079
Swin Transformer（Swin-Transformer）是一种基于注意力机制的深度学习模型，用于解决计算机视觉领域的任务，如图像分类、目标检测和语义分割等。与传统的Transformer架构不同，Swin Transformer采用了跨尺度的分层注意力机制，使得模型能够更好地捕获图像中不同尺度的信息。这一结构使得Swin Transformer在处理大尺度图像时表现出色，并在多个计算机视觉任务上取得了竞赛的优异成绩。Swin Transformer的出现为图像处理领域带来了新的思路和性能突破。
Swin-Transformer:Hierarchical Vision Transformer using Shifted Windows详细解读
weixin_47166887的博客
11-12 4355
Swin-Transformer:Hierarchical Vision Transformer using Shifted Windows Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。本文主要是为了记录在学习过程中遇到的一些问题，希望可以给大家带来帮助~ 摘要 本文介绍了一种称为Swin Transformer的新型视觉Transformer，它可以用作计算机视觉的通用backbone 目前Transfo
【SwinTransformer源码阅读一】build_loader部分代码
丑小鸭
07-15 1097
记录下SwinTranformer的阅读
Swin Transformer中的数据形状梳理
Sircollector的博客
05-11 1081
(b,3,224,224)图片进入Swin-transformer后具体的形状变化过程
Swin-Transformer 详解
欢乐的小树的博客
05-24 8501
用动画深入解释Swin-Transformer
swin-transform网络结构一文详解
最新发布
m0_52843013的博客
12-06 1606
Swin Transformer是一种专为计算机视觉任务设计的分层Transformer架构，其主要创新在于采用了滑动窗口机制和层级化结构。这种设计使得模型在处理图像时能够高效地提取多尺度特征，同时保持较低的计算复杂度。以下是Swin Transformer网络结构的详细介绍。
AI大模型系列之三：Swin Transformer 最强CV图解（深度好文）
Peter_Changyb的博客
03-30 1万+
SwinTransformer是一种为视觉领域设计的分层Transformer结构。它的两大特性是滑动窗口和分层表示。滑动窗口在局部不重叠的窗口中计算自注意力，并允许跨窗口连接。分层结构允许模型适配不同尺度的图片，并且计算复杂度与图像大小呈线性关系。Swin Transformer借鉴了CNN的分层结构，不仅能够做分类，还能够和CNN一样扩展到下游任务，用于计算机视觉任务的通用主干网络，可以用于图像分类、图像分割、目标检测等一系列视觉下游任务。
论文详解：Swin Transformer
hellozhxy的博客
01-25 4335
《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》作为2021 ICCV最佳论文，屠榜了各大CV任务，性能优于DeiT、ViT和EfficientNet等主干网络，已经替代经典的CNN架构，成为了计算机视觉领域通用的backbone。它基于了ViT模型的思想，创新性的引入了滑动窗口机制，让模型能够学习到跨窗口的信息，同时也。同时通过下采样层，使得模型能够处理超分辨率的图片，节省计算量以及能够关注全局和局部的信息。
深度学习网络模型————Swin-Transformer详细讲解与代码实现
guoqingru0311的博客
02-10 9412
经典网络模型系列——Swin-Transformer详细讲解与代码实现
Swin-T Swin-S Swin-B的区别
07-11
Swin-T、Swin-S和Swin-B都是基于Transformer架构的图像分类模型，它们的区别主要体现在模型规模和性能方面。 1. Swin-T（Small Window Transformer） Swin-T是最小规模的Swin模型，它由局部窗口交互机制和全局特征...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值