YOLOv10改进 | 主干/Backbone篇 | CSWinTransformer交叉形窗口网络（附代码 + 修改教程）

最新推荐文章于 2024-11-05 02:06:23 发布
最新推荐文章于 2024-11-05 02:06:23 发布
阅读量1.1k 收藏 19
点赞数 20
CC 4.0 BY-SA版权
分类专栏： YOLOv10有效涨点专栏 文章标签： YOLO 深度学习 人工智能 计算机视觉 YOLOv10 目标检测 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/140281420

 一、本文介绍

本文给大家带来的改进机制是CSWin Transformer，其基于Transformer架构，创新性地引入了交叉形窗口自注意力机制，用于有效地并行处理图像的水平和垂直条带，形成交叉形窗口以提高计算效率。它还提出了局部增强位置编码（LePE），更好地处理局部位置信息，我将其替换YOLOv10的特征提取网络，用于提取更有用的特征。经过我的实验该主干网络确实能够涨点在大中小三种物体检测上，同时该主干网络也提供多种版本，大家可以在源代码中进行修改版本的使用。本文通过介绍其主要框架原理，然后教大家如何添加该网络结构到网络模型中。

专栏回顾：YOLOv10改进系列专栏——本专栏持续复习各种顶会内容——科研必备 

目录

 一、本文介绍

二、CSWin Transformer原理

2.1 CSWin Transformer的基本原理

2.2 交叉形窗口自注意力

2.3 局部增强位置编码

2.4 下游任务友好

三、CSwinTransformer的核心代码

四、手把手教你添加CSwinTransformer机制

修改一

修改二

修改三 

修改四

修改五 

修改六 

 修改七

注意！！！ 额外的修改！

修改八

五、CSwinTransformer的yaml文件

了解本专栏 订阅专栏 解锁全文
【CVPR2022】CSWin Transformer详解
走在深度学习前沿的小宋
05-30 3027
的核心设计是，它通过将Multi-head分成并行组，水平和垂直条纹进行Self-Attention。这种设计可以有效地扩大一个Transformer块内每个token的注意区域，并且随着stage的加深，SW宽度变宽感受野会迅速扩大。另一方面，将局部增强的位置编码引入到CSWin Transformer中，用于下游任务。在有限的计算复杂度下，在各种视觉任务上实现了先进的性能。如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。
YOLO11改进 | 注意力机制 | 添加SE注意力机制
kay_545
10-16 3112
yolov11，yolo11改进
CSWin Transformer
08-20
Transformer设计中一个具有挑战性的问题是，全局自注意力的计算成本非常高，而局部自注意力通常会限制每个词向量的交互域。为了解决这个问题，作者提出了CSWin Transformer。CSWin Transformer 在常见的视觉任务上展示了非常好的性能。具体来说，它在没有任何额外训练数据或标签的情况下，在 ImageNet-1K 分类任务上达到了 85.4% Top-1 准确率，在 COCO 检测任务上达到了 53.9 box AP 和 46.4 mask AP，在 ADE20K 语义分割任务上达到了 51.7 mIOU，均超过了SwinT。通过在更大的数据集 ImageNet-21K 上进一步预训练，在 ImageNet-1K 上达到了 87.5% 的 Top-1 准确率，在 ADE20K 上达到了最先进的分割性能，达到了 55.7 mIoU。
YOLOv8改进 | 主干篇 | CSWinTransformer交叉形窗口网络
Snu77的博客
01-04 2864
到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv8改进有效涨点专栏，本专栏目前为新开的平均质量分98分，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，目前本专栏免费阅读(暂时，大家尽早关注不迷路~)，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备。
CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows
qq_52302919的博客
11-18 2246
本文介绍了CSWin Transformer，这是一种高效、高效的基于Transformer的通用视觉任务主干。Transformer设计中的一个具有挑战性的问题使全局自注意力的计算非常昂贵，而自注意力通常会限制每个令牌的交互领域。为了解决这个问题，本文开发了十字形窗口自注意力机制，用于在形成十字形窗口的平行水平和垂直条纹中计算自注意力，每个条纹通过将输入特征分割为相等宽度的条纹而获得。本文对条带宽度的影响进行了数学分析，并为Transformer网络的不同层改变了条带宽度，从而实现了强大的建模能力，同时限
CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows（CVPR2022）
qihshe的博客
10-19 756
CSWin Transformer，一个高效且有效的基于Transformer的通用视觉任务骨干。
Cswin transformer学习
weixin_44968613的博客
07-10 2550
本文章仅限于自己自学，如果有人也将GAN网络与transformer进行结合做研究的话可以随时给我发私信，我们一起探讨共同进步。文章可以说是在swin transformer的基础上进一步对网络进行了优化，在最近看的文章当中发现对于transformer的更新主要是在位置编码上面以及对于self attention上面。 本文的self attention介绍了许多先验的self attention中的window，如下图所示：full attention的网络结构相当于是数据特征传输过程中对
AI：292-将CSWinTransformer集成到YOLOv8中 | 改进与应用分析
一键难忘的博客
09-13 4049
YOLOv8 是 YOLO（You Only Look Once）系列的最新版本，继承了 YOLO 系列的优良传统，致力于实现快速且准确的目标检测。YOLOv8 在网络架构、特征提取和检测精度等方面进行了优化，进一步提高了检测性能。然而，随着目标检测需求的不断增长，进一步提升 YOLOv8 的性能仍然是一个重要的研究方向。CSWinTransformer 是一种基于变换器的网络结构，旨在提升视觉任务中的性能。
CSwin Transformer 学习笔记
athrunsunny的博客
10-11 1447
Cswin提出了上图中使用交叉形状局部attention，为了解决VIT模型中局部自注意力感受野进一步增长受限的问题，同时提出了局部增强位置编码模块，超越了Swin等模型，在多个任务上效果SOTA（当时的SOTA，已经被SG Former超越）。模型整体结构如上所示，由和4个stageblock所堆叠而成，每个后面都会接入一个conv层，用来对featuremap进行下采样。和典型的R50设计类似，每次下采样后，会增加dim的数量，一是为了提升感受野，二是为了增加特征性。
YOLOv11改进 | 主干/Backbone篇 | CSWinTransformer交叉形窗口目标检测网络（适配yolov11全系列版本）
Snu77的博客
11-01 2640
本文给大家带来的改进机制是其基于Transformer架构，创新性地引入了交叉形窗口自注意力机制，用于有效地并行处理图像的水平和垂直条带，形成交叉形窗口以提高计算效率。它还提出了局部增强位置编码（LePE），更好地处理局部位置信息，我将其替换YOLOv10的特征提取网络，用于提取更有用的特征。经过我的实验该主干网络确实能够涨点在大中小三种物体检测上，同时该主干网络也提供多种版本，大家可以在源代码中进行修改版本的使用。本文通过介绍其主要框架原理，然后教大家如何添加该网络结构到网络模型中。
YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
热门推荐
Snu77的博客
11-05 5万+
Hello，各位读者们好.本文为最新YOLOv11有效涨点专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。
CSWin Transformer网络模型
weixin_42888638的博客
09-05 1917
CSwin-Transformers的学习记录
YOLOv8改进 | 主干篇 | SwinTransformer替换Backbone（附代码 + 详细修改步骤 +原理介绍）
Snu77的博客
12-12 9247
本文给大家带来的改进机制是利用Swin Transformer替换YOLOv8中的骨干网络其是一个开创性的视觉变换器模型，它通过使用位移窗口来构建分层的特征图，有效地适应了计算机视觉任务。与传统的变换器模型不同，Swin Transformer的自注意力计算仅限于局部窗口内，使得计算复杂度与图像大小成线性关系，而非二次方。这种设计不仅提高了模型的效率，还保持了强大的特征提取能力。Swin Transformer的创新在于其能够在不同层次上捕捉图像的细节和全局信息，使其成为各种视觉任务的强大通用骨干网络。
[Transformer]CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows
qq_37151108的博客
11-30 1616
CSWin Transformer:基于交叉十字形窗口的视觉Transformer框架
AbstractSection I IntroductionSection II Related WorkSection III MethodPart 1 Overall ArchitecturePart 2 Cross-Shaped Window Self-AttentionSection IV ExperimentsPart 1 ImageNet-1K ClassificationPart 2 COCO Detect
SwinT的进阶：CSWin Transformer
阿木寺的博客
07-09 5276
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：Smarter本文可以认为是Swin Transformer的进阶版本，提出通过十字形等宽的windows做se...
探索未来计算的新纪元：微软的CSWin-Transformer
gitblog_00074的博客
04-26 621
探索未来计算的新纪元：微软的CSWin-Transformer CSWin-Transformer CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped, CVPR 2022 ...
【Transformer】5、CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows
呆呆的猫的博客
08-21 1973
论文：文章目录一、背景二、动机三、方法3.1 总体结构3.2 Cross-Shaped Window Self-Attention3.3 CSWin Transformer Block3.4 变体四、效果 一、背景 目前，基于transformer的方法在 CV 领域基本实现了和CNN相当的效果，其好的效果来源于内部多头自注意力机制对远距离依赖的建模能力，这对以高分辨率数据作为输入的下游方法（检测、分割等）都很有帮助。但另外，由于 Transormer 结构是全注意力结构，计算量很大。 二、动机 为了提高.
浅谈CSwin-Transformers
qq_29462849的博客
08-23 4756
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达【导语】局部自注意力已经被很多的VIT模型所采用，但是没有考虑过如何使得感受野进一步增长，为了解决这个问题，Cswin提出了使用交叉...
YOLOv8改进 | 主干篇 | 利用RT-DETR特征提取网络PPHGNetV2改进YOLOv8（超级轻量化精度更高）
最新发布
01-04
### 改进YOLOv8主干网络的方法 为了使YOLOv8更加轻量化并提升检测精度，可以采用来自RT-DETR的PPHGNetV2作为新的特征提取器[^1]。这种方法不仅能够增强模型的表现力，还能减少计算资源的需求。 #### 替换原有主干网络 原有的YOLOv8主干网络被PPHGNetV2所替代。PPHGNetV2是一种基于Transformer架构设计而成的新颖骨干网路，它具有更强的数据表达能力和更低的参数复杂度。通过这种替换操作，可以在不显著增加额外开销的情况下获得更好的性能表现[^2]。 #### 调整超参数设置 当引入新类型的主干之后，可能需要重新调整一些训练过程中的超参数配置，比如学习率、批量大小等。这些改变有助于让整个系统更好地适应新型号带来的变化，并最终体现在更高的mAP得分上[^3]。 #### 训练与验证流程 完成上述修改后，按照常规方式准备数据集并对改进后的YOLOv8进行充分训练。期间应密切关注损失函数的变化趋势以及各类评估指标的结果反馈。经过多轮迭代优化直至收敛稳定为止。最后，在测试集上面检验最终版模型的实际效能是否达到了预期目标——即实现了更高精度的同时也保持了良好的运行效率。 ```python import torch from yolov8 import YOLOv8 from pphgnet_v2 import PPHGNetV2 def replace_backbone(yolo_model_path, new_backbone=PPHGNetV2()): # 加载原始YOLOv8模型权重 yolo = YOLOv8() checkpoint = torch.load(yolo_model_path) yolo.load_state_dict(checkpoint['model']) # 将原主干部分替换成PPHGNetV2 yolo.backbone = new_backbone return yolo # 使用示例代码片段 if __name__ == "__main__": improved_yolov8 = replace_backbone('path_to_original_weights.pth') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值