课程七学习笔记： Swin Transformer-2

最新推荐文章于 2024-12-13 16:43:07 发布
最新推荐文章于 2024-12-13 16:43:07 发布
阅读量374 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 从零开始学视觉Transformer学习笔记-已完结 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37486501/article/details/121763222

课程七学习笔记： Swin Transformer-2

1. Swin Transformer回顾

请添加图片描述
请添加图片描述
请添加图片描述

2.Shifted Window Multi-Head Self Attention

让每个Token更能够看到整张图的信息。
请添加图片描述
之前的MSA：只在同一个颜色内部做Attention。
SW-MSA：现在我们有不同颜色的窗口，我们可以计算不同颜色之间的Attention，相当于学习了全局的信息。
我们的Task：对每个Window单独计算WMSA，使得效率更高

了解本专栏 订阅专栏 解锁全文 超级会员免费看
毕设-Swin Transformer V2 的原理、改进点、实现代码
FJN110的博客
10-30 66
本文深入解析了Swin Transformer V2的核心原理与PyTorch实现。作为ViT和Swin Transformer的改进版本，Swin V2通过引入Cosine Attention、Log-spaced连续位置偏置和LayerScale+PostNorm架构，显著提升了模型稳定性和泛化能力。文章详细剖析了其层级结构设计，包括Patch Embedding、多阶段Swin Block和Patch Merging模块，并提供了完整的PyTorch实现代码。作者建议从小模型开始实践，并尝试注意力机制
【第49篇】Swin Transformer V2：扩展容量和分辨率
m0_47867638的博客
06-25 566
扩展语言模型已经取得了令人难以置信的成功。它显着提高了模型在语言任务上的性能 并且该模型展示了与人类相似的惊人的少数镜头能力。自从有了 3.4 亿参数的 BERT 大模型，语言模型在几年内迅速扩大了 1000 多倍，达到 5300 亿个密集参数和 1.6 万亿个稀疏参数。这些大型语言模型还被发现具有越来越强大的小样本能力，类似于人类智能，可用于广泛的语言任务。另一方面，视觉模型的推广一直滞后。
Swin Transformer变体2：Swin Transformerv2模型
最新发布
my的博客
12-13 1487
对Swin Transformer的举出模型做了一定的修改，模型性能大幅提升
论文阅读笔记——Swin Transformer V2
weixin_52143654的博客
10-08 660
Swin Transformer V2
Swin Transformer V2
myh12138的博客
11-23 3828
Swin Transformer V2 论文链接：https://arxiv.org/pdf/2111.09833.pdf 代码链接：https://github.com/microsoft/Swin-Transformer 问题： 作者提出了将Swin Transformer缩放到30亿个参数的技术 ，并使其能够使用高达1536×1536分辨率的图像进行训练。在很多方面达到了SOTA。 目前，视觉模型尚未像NLP语言模型那样被广泛探索，部分原因是训练和应用中的以下差异: 1） 视觉模型通常在规模上面临不稳
课程六学习笔记：Swin Transformer-1
Wangzx的博客
12-07 268
课程六学习笔记：Swin Transformer-11. Vision Transformer回顾2. Swin Transformer3. 实践：Swin transformer 1. Vision Transformer回顾 即使添加了Class-Token，实际上也保持着相同的Patch大小。 而对于一张图而言，做分类的话，Patch大一点，可以捕捉到很多的信息；但是做目标检测等其他任务而言，我们需要更小的粒度（调节Patch的大小），Patch很小，可能会带来计算量的问题；Patch正常可能会不能
【图像去噪】论文精读：SUNet: Swin Transformer UNet for Image Denoising
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
11-09 1064
论文题目：SUNet: Swin Transformer UNet for Image Denoising —— SUNet:用于图像去噪的Swin Transformer UNetISCAS 2022！Swin U-Net用于图像去噪！图像恢复是一个具有挑战性的问题，也是一个长期存在的问题。在过去的几年里，卷积神经网络 (CNN) 几乎主导了计算机视觉，并在包括图像恢复在内的不同级别的视觉任务上取得了相当大的成功。
Swin-Transformer 图像分割实战：使用Swin-Transformer-Semantic-Segmentation训练ADE20K数据集（语义分割
2401_83739951的博客
04-01 1252
github地址：https://github.com/SwinTransformer/Swin-Transformer-Semantic-SegmentationUbuntu20.04环境配置Ubuntu的环境配置相对简单一些，1、创建虚拟环境2、安装pytorch根据电脑的cuda版本选择pytorch，我试了1.6.0版本的可以。其他的版本在安装mmcv的时候有可能会出现问题。3、安装mmcv-full。
ICCV-2021-Swin-T: Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 阅读笔记
菜菜子hoho的博客
04-21 1421
目录一、Swin Transformer的整体架构及流程Swin变压器架构Stage 1Stage 2Stage 3Stage 4Swin Transformer block二、基于移动窗口的自我注意（Shifted Window based Self-Attention）非重叠窗口中的自我注意（Self-attention in non-overlapped windows）连续块中的移位窗口划分（Shifted window partitioning in successive blocks）移位配置的
Swin Transformer V2（CVPR 2022）论文与代码解读
00000cj的博客
06-13 9162
针对上述三个问题，本文提出了三种对应的解决方法： residual-post-norm and cosine attention：在模型架构中引入残差后规范化方法和余弦注意力机制，提高了大模型的训练稳定性和准确性。 log-spaced continuous position bias（Log-CPB）：这种新方法允许模型在不同窗口大小之间自由转移，解决了高低分辨率任务之间的迁移问题。 自监督预训练方法（SimMIM）：通过自监督学习减少对标注数据的需求，使得训练过程更加高效。
Video-Swin-Transformer （二）
keyanxiaocaicai的专栏
07-14 1686
跑单卡测试和多卡测试都有问题： 然后去看了mmaction2下面的recognizer3D下面没有SwinTransformer3d的类 但是师妹说她可以跑通训练我的训练也报同样的错误？ 要怎么解决这个问题
Swin Transformer V2: Scaling Up Capacity and Resolution
dawnyi_yang的博客
05-17 1544
摘要 在本文中，作者提出了将Swin Transformer缩放到30亿个参数的技术 ，并使其能够使用高达1536×1536分辨率的图像进行训练。通过扩大容量和分辨率，Swin Transformer在四个具有代表性的视觉基准上创造了新的记录：ImageNet-V2图像分类的84.0%top-1 准确度，COCO目标检测上的63.1/54.4box / mask mAP ，ADE20K语义分割的59.9 mIoU ，以及Kinetics-400视频动作分类的86.8%top-1 准确度。 论文地址：Swin
Swin Transformer v2实战：使用Swin Transformer v2实现图像分类（一）
AI浩
10-05 7857
Swin Transformer v2解决了大型视觉模型训练和应用中的三个主要问题，包括训练不稳定性、预训练和微调之间的分辨率差距以及对标记数据的渴望。1）残差后范数方法结合余弦注意提高训练稳定性；一种对数空间连续位置偏差方法，可有效地将使用低分辨率图像预训练的模型转移到具有高分辨率输入的下游任务；一种自我监督的预训练方法 SimMIM，以减少对大量标记图像的需求。我这篇文章主要讲解如何使用Swin Transformer V2完成图像分类任务，接下来我们一起完成项目的实战。
Swin Transformer V2：扩展容量和分辨率
小嘤熊的博客
11-06 566
Swin Transformer V2使用的技术通常为扩大视觉模型，但它没有像 NLP语言模型那样被广泛探索，部分原因在于训练和应用方面，存在以下困难：1）视觉模型经常面临大规模不样本不均衡的问题；的84.0%top-1准确率COCO 对象检测的 63.1/54.4 box/mask mAP，ADE20K 语义分割的 59.9 mIoU， Kinetics-400 视频动作分类的 top-1 准确率为 86.8%。它非常类似于分类，但添加了定位的元素，它可以确定图像中的特定对象所在的位置。
MixNet实战：使用MixNet实现图像分类（二）
AI浩
05-20 2935
训练 完成上面的步骤后，就开始train脚本的编写，新建train.py. 导入项目使用的库 import json import os import shutil import matplotlib.pyplot as plt import torch import torch.nn.parallel import torch.optim as optim import torch.utils.data import torch.utils.data.distributed import torchvis
Swin Transformer V2！MSRA原班人马提出了30亿参数版本的Swin Transformer！
我爱计算机视觉
11-20 1447
关注公众号，发现CV技术之美【写在前面】在本文中，作者提出了将Swin Transformer缩放到30亿个参数的技术 ，并使其能够使用高达1536×1536分辨率的图像进行训练。通过扩大...
论文精读:Swin Transformer V2: Scaling Up Capacity and Resolution
qq_52053775的博客
11-09 1763
论文地址:https://arxiv.org/pdf/2111.09883.pdf 代码地址: GitHub - microsoft/Swin-Transformer: This is an official implementation for "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows". 本篇论文主要致力于解决大型视觉模型的训练和应用中的三个主要问题，包括训练的不稳定性、训练前和微调之间
swin transformer v2转tensorrt踩坑与总结
weixin_42741178的博客
07-12 1514
工程部署swin transformer v2
swin-transformer
08-18
- *3* [神经网络学习笔记5——Swin-Transformer网络](https://blog.youkuaiyun.com/qq_45848817/article/details/127105956)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laura_Wangzx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值