【YOLO改进】换遍MMDET主干网络之SwinTransformer-Tiny（基于MMYOLO）

最新推荐文章于 2024-08-16 10:24:42 发布
最新推荐文章于 2024-08-16 10:24:42 发布
阅读量1.3k 收藏 10
点赞数 18
CC 4.0 BY-SA版权
分类专栏： YOLO改进 文章标签： YOLO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Vlone_pp/article/details/138498785

SwinTransformer-Tiny

SwinTransformer-Tiny是Swin Transformer模型的一个轻量级版本。Swin Transformer是微软亚洲研究院在2021年提出的一种新型的视觉Transformer，它通过引入移位窗口（Shifted Windows）的概念，实现了层次化的特征表示和线性的计算复杂度，使其在各种视觉任务中都取得了出色的性能。

SwinTransformer-Tiny作为轻量级版本，继承了Swin Transformer的核心思想，但在网络深度和宽度上进行了缩减，以适应更轻量级的计算需求。具体来说，SwinTransformer-Tiny采用了更少的网络层数和更小的特征通道数，以减小模型的参数量和计算量。

作为YOLO主干网络的可行性分析

  1. 性能优势：SwinTransformer-Tiny作为Swin Transformer的轻量级版本，继承了其层次化的特征表示和线性的计算复杂度的优点。这使得SwinTransformer-Tiny在保持一定性能的同时，具有更小的模型大小和更快的推理速度。对于实时目标检测任务来说，这是非常重要的。
  2. 兼容性：SwinTransformer-Tiny作为一种视觉Transformer模型，与YOLO这种基于卷积神经网络的目标检测算法在结构上有一定的差异。但是，通过合理的设计和调整，可以将SwinTransformer-Tiny作为YOLO的主干网络来使用。具体来说，可以将SwinTransformer-Tiny的输出特征图与YOLO的后续检测头进行连接，形成完整的目标检测模型。
  3. 挑战与改进：尽管SwinTransformer-Tiny在作为YOLO主干网络时具有一定的可行性，但也存在一些挑战和改进空间。首先，由于SwinTransformer-Tiny是基于Transformer的模型，其计算方式与基于卷积神经网络的YOLO存在差异，可能需要更多的计算资源和内存。其次，如何更好地将SwinTransformer-Tin
最低0.47元/天 解锁文章

200万优质内容无限畅学
YOLOv11改进：视觉变换器SwinTransformer目标检测网络
weixin_39818775的博客
04-30 885
本文提出的Swin-YOLOv11目标检测网络，通过将SwinTransformer的强大特征提取能力与YOLOv11的高效检测框架相结合，在保持实时性的同时显著提升了检测精度。实验表明，该方法在COCO等基准数据集上优于原版YOLOv11，特别是在复杂场景和小目标检测方面表现突出。通过灵活的架构设计，可以适配从移动端到服务器端的各种应用场景。未来工作将聚焦于进一步优化计算效率，探索更高效的自注意力机制，以及研究自监督预训练方法。
YOLOv5、YOLOv8改进：Swin Transformer-V2
weixin_45303602的博客
09-25 1727
YOLOv5、YOLOv8改进：Swin Transformer-V2
【MMdetection改进】换遍MMDET主干网络之SwinTransformer-Tiny（基于MMdetection）
qq_41627642的博客
08-16 906
OpenMMLab 2.0 体系中 MMYOLO、MMDetection、MMClassification、MMSelfsup 中的模型注册表都继承自 MMEngine 中的根注册表，允许这些 OpenMMLab 开源库直接使用彼此已经实现的模块。因此用户可以在MMYOLO 中使用来自 MMDetection、MMClassification、MMSelfsup 的主干网络，而无需重新实现。
基于MMDet的Swin Transformer遥感图像检测
cbx0916的博客
05-09 3772
主要使用swin trasnsformer试了一下sar图像的目标检测，用了舰船ssdd数据集和地面目标MSTAR数据集。
YOLOv5改进 | 主干网络 | 在backbone添加Swin-Transformer层【论文必备】
kay_545
05-15 2762
Swin-Transformer，yolov5改进，yolov8改进，yolo，目标检测
Swin-Transformer
陶将的博客
07-13 6225
本篇博文详细讲解ViT和Swim-Transformer
【YOLO改进】换遍MMDET主干网络之ResNet50（基于MMYOLO）
Vlone_pp的博客
05-07 1305
OpenMMLab 2.0 体系中 MMYOLO、MMDetection、MMClassification、MMSelfsup 中的模型注册表都继承自 MMEngine 中的根注册表，允许这些 OpenMMLab 开源库直接使用彼此已经实现的模块。这种设计使得在增加网络深度的同时，不会出现梯度消失的问题，进而提升了模型的性能。在YOLO的算法框架中，主干网络负责提取图像中的特征信息，对于模型的性能至关重要。这种设计使得模型在保持相同复杂性的情况下，能够有更深的网络结构。
【YOLO改进】换遍MMPretrain主干网络之ConvNeXt-Tiny（基于MMYOLO）
Vlone_pp的博客
05-19 1124
ConvNeXt-Tiny 是一种改进的卷积神经网络架构，其设计目的是在保持传统卷积神经网络优势的同时，借鉴了一些Transformer架构的成功经验。： ConvNeXt-Tiny 采用了更大范围的卷积核和较少的池化操作，这使得它在同样的计算预算下，能够捕捉到更丰富的特征信息，提高了模型的性能。其优化的卷积架构可以在保证精度的同时，提供更快的推理速度。： ConvNeXt-Tiny 的模型大小和复杂度适中，这使得它可以在保持高检测精度的同时，不会大幅增加YOLO网络的计算负担。
【YOLO改进】换遍MMDET主干网络之MobileNetv2（基于MMYOLO）
Vlone_pp的博客
05-09 1075
OpenMMLab 2.0 体系中 MMYOLO、MMDetection、MMClassification、MMSelfsup 中的模型注册表都继承自 MMEngine 中的根注册表，允许这些 OpenMMLab 开源库直接使用彼此已经实现的模块。MobileNetV2是一种专为移动和嵌入式视觉应用设计的轻量化网络结构。它在MobileNetV1的基础上引入了两个主要的创新点：反转残差结构（Inverted Residuals）和线性瓶颈层（Linear Bottlenecks）。
【YOLO改进】换遍MMDET主干网络之EfficientNet（基于MMYOLO）
Vlone_pp的博客
05-12 1012
EfficientNet是Google在2019年提出的一种新型卷积神经网络架构，其设计初衷是在保证模型性能的同时，尽可能地降低模型的复杂性和计算需求。EfficientNet的核心思想是通过均衡地调整网络的深度（层数）、宽度（每层的通道数）和分辨率（输入的图像尺寸）这三个维度，以实现模型的性能最大化。具体来说，EfficientNet使用了一个复合缩放方法（compound scaling method），该方法将深度、宽度和分辨率的缩放比例视为一个整体进行考虑，而不是分别进行缩放。
【YOLO改进】换遍MMDET主干网络之Pyramid Vision Transformer（PVT）（基于MMYOLO）
Vlone_pp的博客
05-11 913
Pyramid Vision Transformer（PVT）是一种深度学习模型，它结合了Transformer架构和金字塔结构，旨在将Transformer的强大能力引入计算机视觉任务中，特别是那些需要密集预测的任务，如目标检测、语义分割等。PVT的主要特点在于其金字塔结构的设计。与原始的Vision Transformer（ViT）相比，PVT在多个阶段使用了不同尺度的特征图，从而形成了金字塔结构。这种设计使得PVT能够捕获不同尺度的特征信息，提高了模型对图像中不同大小目标的处理能力。
【深度学习】详解 Swin Transformer (SwinT)
热门推荐
闻韶
09-16 15万+
【深度学习】详解 Swin Transformer (SwinT)
在YOLOv5中添加Swin-Transformer模块
YanHS_的博客
02-09 1万+
提供了一个在YOLOv5代码中添加SwinTransformer相应模块的代码仓库，并对使用方法进行了简单介绍。
【YOLOv8改进】骨干网络： SwinTransformer (基于位移窗口的层次化视觉变换器）
m0_63430863的博客
06-20 1356
本文提出了一种新型视觉，称为，它能够作为计算机视觉的通用骨干网络。将Transformer从语言领域适应到视觉领域时面临的挑战源于两个领域之间的差异，例如视觉实体的尺度变化大以及图像中像素的高分辨率相比文本中的单词。为了解决这些差异，我们提出了一种分层Transformer，其表示是通过移位窗口计算得出的。移位窗口方案通过将自注意力计算限制在非重叠的局部窗口内，同时也允许跨窗口连接，从而带来更高的效率。这种分层架构具有在不同尺度上建模的灵活性，并且其计算复杂度与图像大小呈线性关系。
Swin Transformer
年轻即出发，
09-30 1249
论文：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows Github：https://github.com/microsoft/Swin-Transformer https://github.com/rwightman/pytorch-image-models https://github.com/open-mmlab/mmclassification 论文提出了Transformer的改进版本..
swin transformer解读
qq_41111734的博客
05-02 3万+
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows --论文解读 论文信息、概要 Swin transformer是微软今年三月25日公布的一篇利用transformer架构处理计算机视觉任务的论文。源码仅仅公布两天就在github上收获了2.2k个stars。它是我个人认为迄今为止用tranformer架构处理计算机视觉任务最有实用价值的一篇文章，在图像分割，目标检测各个领域已经霸榜，让很多人看到了transfor
【YOLOv8改进】骨干网络： SwinTransformer (基于位移窗口的层次化视觉变换器）(论文笔记+引入代码)
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
01-26 7666
本文提出了一种新型视觉，称为，它能够作为计算机视觉的通用骨干网络。将Transformer从语言领域适应到视觉领域时面临的挑战源于两个领域之间的差异，例如视觉实体的尺度变化大以及图像中像素的高分辨率相比文本中的单词。为了解决这些差异，我们提出了一种分层Transformer，其表示是通过移位窗口计算得出的。移位窗口方案通过将自注意力计算限制在非重叠的局部窗口内，同时也允许跨窗口连接，从而带来更高的效率。这种分层架构具有在不同尺度上建模的灵活性，并且其计算复杂度与图像大小呈线性关系。的这些特性使其与广泛的视觉
基于mmdetection训练Swin Transformer Object Detection
Ken的博客
04-26 1万+
环境搭建 docker 找了一个torch版本为1.5.1+cu101的docker环境，然后安装mmdetection环境 pip install mmcv-full git clone https://github.com/SwinTransformer/Swin-Transformer-Object-Detection cd Swin-Transformer-Object-Detection-master pip install -r requirements/build.txt pip instal
YOLOv10全网最新创新点改进系列：YOLOv10融合SwinTransformer模块，分辨率每层变成一半，而通道数变成两倍,有效提升小目标检测效果！
B站 Ai学术叫叫兽的文案地
07-22 4591
YOLOv10全网最新创新点改进系列：YOLOv10融合SwinTransformer模块，分辨率每层变成一半，而通道数变成两倍,有效提升小目标检测效果！
YOLO11 更换骨干网络之 SwinTransformer
最新发布
02-14
### 更换YOLOv11骨干网络为SwinTransformer的方法 #### 修改配置文件 为了实现将YOLOv11的骨干网络替换为SwinTransformer，首先需要调整YOLOv11对应的`yaml`配置文件。此过程涉及定义新的backbone结构并确保其能无缝集成到现有的检测框架中[^2]。 对于具体操作，在`yaml`配置文件中的`Backbone`部分指定采用SwinTransformer作为基础特征提取器。需要注意的是，不同版本间的差异可能导致具体的字段名称有所不同，因此建议参照最新版官方文档或源码来确认确切设置项。 ```yaml # 假设路径为configs/yolov11_swin_backbone.yaml Model: Backbone: swin_transformer # 使用swin transformer替代原有backbone ``` #### 调整模型构建逻辑 接下来是对`common.py`以及负责创建整个YOLOv11实例化的脚本（通常是`yolo.py`）做出相应改动。这里的关键在于引入SwinTransformer的相关类定义，并通过继承或其他方式将其融入至YOLOv11的整体架构之中。 在`common.py`内添加如下代码片段用于加载预训练好的SwinTransformer权重： ```python from timm.models import create_model def build_backbone(cfg, pretrained=True): """Builds the backbone network based on configuration.""" model_name = cfg['model']['backbone'] if 'swin' in model_name.lower(): return create_model(model_name, pretrained=pretrained) raise ValueError(f"Unsupported backbone {model_name}") ``` 而在`yolo.py`里，则需保证当选择了特定类型的backbone时能够正确调用上述函数完成初始化工作: ```python class YOLOv11(nn.Module): ... def __init__(self, config_path=None,...): super(YOLOv11,self).__init__() self.backbone = build_backbone(self.cfg) ...其他组件... ``` #### 集成LSK模块提升性能 除了简单的替换外，还可以考虑加入诸如Large Selective Kernel(LSK)这样的改进措施进一步增强模型表现力[^3]。这一步骤并非强制性的，但对于追求更高精度的应用场景来说是非常有价值的尝试。 最后提醒一点，由于YOLO系列算法迭代迅速，实际开发过程中务必关注官方发布的更新说明和技术博客获取最前沿的信息和支持材料[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值