YOLOv5改进 | 主干篇 | 添加轻量化网络RepViT从视觉变换器（ViT）的视角重新审视CNN

YOLOv5优化：RepViT主干网络的引入与实战
已于 2024-03-30 23:15:17 修改
阅读量2.2k 收藏 27
点赞数 29
CC 4.0 BY-SA版权
分类专栏： YOLOv5改进有效专栏 文章标签： YOLO 网络 人工智能 深度学习 python 计算机视觉 pytorch
于 2023-12-28 06:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/135229040
本文介绍了如何将轻量级视觉变换器RepViT应用于YOLOv5的主干网络，以提高模型性能和效率。通过对RepViT的基本原理、核心代码和网络结构的详细解析，手把手指导读者进行添加和修改操作。实验证明，RepViT的引入在目标检测任务上实现了性能提升。

 一、本文介绍

本文给大家来的改进机制是RepViT，用其替换我们整个主干网络，其是今年最新推出的主干网络，其主要思想是将轻量级视觉变换器（ViT）的设计原则应用于传统的轻量级卷积神经网络(CNN)。我将其替换整个YOLOv5的Backbone，实现了大幅度涨点。我对修改后的网络(我用的最轻量的版本)，在一个包含1000张图片包含大中小的检测目标的数据集上(共有20+类别)，进行训练测试，发现所有的目标上均有一定程度的涨点效果，下面我会附上基础版本和修改版本的训练对比图。

推荐指数：⭐⭐⭐⭐⭐

专栏回顾：YOLOv5改进专栏——持续复现各种顶会内容——内含100+创新  

目录

 一、本文介绍

二、RepViT基本原理

三、RepViT的核心代码 

  四、手把手教你添加RepViT网络结构

修改一

修改二

修改三

修改四

修改五

修改五 

修改六 

修改七

五、RepViT的yaml文件

六、成功运行记录 

七、本文总结

二、RepViT基本原理

​

官方论文地址： 官方论文地址点击即可跳转

官方代码地址： 官方代码地址点击即可跳转

​ 

了解本专栏 订阅专栏 解锁全文
YOLOv5算法进阶改进（20）— 更换主干网络之RepViT | 从ViT视角重新审视移动CNN
小哥谈
04-12 975
RepViT是一种基于Transformer的视觉模型，与传统的卷积神经网络不同，RepViT使用了Transformer的自注意力机制来提取图像中的特征。🌈
YOLOv5轻量化骨干设计，通过结合GHostNetv2结构实现计算量降低
qq_44224801的博客
05-21 3020
GhostNetv2是一种针对移动设备和边缘设备的优化神经网络，其设计继承了GhostNetv1的高效节省计算资源的特性，并在其基础上引入了一种新的注意力模块——DFC注意力模块，以增强模型对长距离空间信息的处理能力。DFC注意力模块是一种基于解耦全连接层的注意力机制，设计满足以下三个条件：对空间长距离信息的建模能力强；部署高效，对硬件友好且计算高效；概念简单，便于保证注意力模块的泛化能力。对于端侧设备这类计算资源受限的环境，以上设计目标帮助模型在提升性能的同时，不牺牲实时性和部署效率。
YOLOv5改进（一）--轻量化YOLOv5s模型
qq_44231797的博客
04-07 1万+
轻量化YOLOv5s模型
YOLOv5轻量化: MobileNetV3，适用于计算机视觉的轻量级骨架首选
IdfdFsharp的博客
09-21 1005
YOLOv5是一种流行的目标检测算法，而MobileNetV3是一种轻量级的卷积神经网络骨架。本文将详细介绍如何使用YOLOv5和MobileNetV3进行目标检测，并提供相应的源代码。接下来，我们将使用YOLOv5的预训练模型进行目标检测。综上所述，YOLOv5轻量化结合MobileNetV3是计算机视觉中进行目标检测的理想选择。通过使用预训练模型和微调技术，我们可以实现高效且准确的目标检测任务。除了使用预训练模型进行目标检测外，我们还可以对模型进行微调。对象中，并使用适当的优化器和损失函数进行微调。
YOLOv5引入轻量化（SOTA）：EMO
weixin_70423469的博客
07-26 1608
YOLOv5引入轻量化（SOTA）：EMO
YOLOv11改进 | 主干/Backbone篇 | RepViT从视觉变换器（ViT）的视角重新审视CNN的目标检测网络（适配yolov11全系列）
Snu77的博客
11-01 2553
本文给大家来的改进机制是RepViT，用其替换我们整个主干网络，其是今年最新推出的主干网络，其主要思想是将轻量级视觉变换器（ViT）的设计原则应用于传统的轻量级卷积神经网络(CNN)。我将其替换整个YOLOv11的Backbone，实现了大幅度涨点。我对修改后的网络(我用的最轻量的版本)，在一个包含1000张图片包含大中小的检测目标的数据集上(共有20+类别)，进行训练测试，发现所有的目标上均有一定程度的涨点效果，下面我会附上基础版本和修改版本的训练对比图。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 17万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
AI：248-YOLOv8主干网络 | 基于RepViT的轻量级视觉变换器与卷积融合策略（有效涨点）
一键难忘的博客
09-01 3133
为了对改进后的YOLOv8模型进行训练，我们可以使用PyTorch的标准训练流程，并且结合前面提到的动态学习率调整和混合损失函数策略。# 定义模型和损失函数# 自定义数据增强])# 训练循环。
YOLOv5改进有效涨点目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
Snu77的博客
01-07 2万+
Hello，各位读者们好本专栏自开设两个月以来已经更新改进教程60余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。同时本人一些讲解视频和包含我所有创新的YOLOv8文档并不能在优快云上传(所有的创新点都经过我的测试是可用的，得到该文件之后大家可以随意组合使用)，所以会建立群的形式在内上传我的文件和视频我也会在群内不定期和大家交流回答大家问题，同时定期会更新一些文章的创新点(经过我融合测试后的，先到先得)。本专栏持续更新网络上的所有前沿文章。
YOLOv5轻量化之《替换Backbone为MobileOne》（亲测有效）
年少的勇气已经用完，剩下的就是三思而后行
11-16 3583
YOLOv5轻量化之《替换Backbone为MobileOne》
YOLOv5轻量化：实现CVPR2023最新研究成果
LgvrApplescript的博客
09-22 1633
YOLOv5是一种广泛应用于计算机视觉领域的目标检测算法，而其轻量化版本则成为了近期CVPR2023会议上备受关注的研究成果。这项最新研究通过对YOLOv5进行架构上的改进，使其在保持高性能的同时，大幅度减少了模型的参数量和计算复杂度。本文将详细介绍这一轻量化的YOLOv5架构，并提供相应的源代码。
Yolov5轻量化：CVPR2023｜RIFormer：无需TokenMixer也能达成SOTA性能的极简ViT架构
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
06-08 1805
优势：（1）去除token mixer，减少延迟和计算功耗；（2）推理阶段只有1x1卷积，有利于硬件实现；（3）结构重参数化技术将训练复杂度和推理复杂度解耦；（4）设计优化驱动的高效网络，更关注整体架构和训练策略。
记录：YOLOv5模型剪枝轻量化
qq_44224801的博客
07-01 3718
模型
YOLOv5结合轻量化网络MobileNetv3
weixin_44808161的博客
07-13 1万+
对YOLOv5网络结构进行修改
YOLO源码解读：Yolov5的改进方案——轻量化模块
wusuoweiieq的博客
12-09 853
Ghost模块是一个用于替代标准卷积模块的轻量级模块。它通过引入一个额外的线性变换层来增强特征图的表示能力，而不会增加模型的参数量或计算复杂度。Ghost模块可以插入到任何标准的卷积模块中，从而在不增加模型复杂度的情况下提高性能。官网建议：替换yaml文件中所有的Conv和C3模块为GhostConv和C3Ghost。轻量化模块通常指的是那些可以减少模型参数量和计算复杂度，同时保持较高检测性能的模块。优快云建议：只替换Backbone中的Conv和C3。可以选择比较二者的差异。
【目标检测实验系列】YOLOv5模型改进：引入轻量化多维动态卷积ODConv，减少计算量的同时保持精度稳定或略微上涨！(内含源代码，超详细改进代码流程)
弗兰-随风小欢的博客
06-28 1276
【目标检测实验系列】YOLOv5模型改进：引入轻量化多维动态卷积ODConv，减少计算量的同时保持精度稳定或略微上涨！(内含源代码，超详细改进代码流程)
即插即用!轻量化YOLOv5网络结构设计，BC3减少网络参数
weixin_47060902的博客
11-05 374
YOLOv5网络的轻量化魔改，BC3压缩YOLOv5网络的参数量
notie.js最佳实践：10个提升用户体验的技巧
最新发布
gitblog_00157的博客
11-27 701
notie.js是一款轻量级、无依赖的JavaScript通知、输入和选择套件，提供了简洁优雅的用户交互体验。作为现代Web开发中提升用户体验的利器，notie.js凭借其纯净的设计理念和强大的功能特性，成为了众多开发者的首选工具。 ## 🎯 1. 智能通知位置选择 notie.js支持顶部和底部两种通知位置，根据内容重要性合理选择位置能显著提升用户体验。重要信息建议使用顶部位置，次要操作可
YOLOV5-Lite轻量化部署与训练
`or 1 or 不正经の泡泡
07-08 3324
没啥意思，很简单，需要实现一个目标检测，但是，不能占用太多运算资源，同时需要保证一定的精度。并且要在移动端部署，要在一台ROS小车上面部署。那么此时常见的选择自然有yolov3-tiny等。但是考虑到onnx部署方案的成熟，目前的加持之下，python也有不错的效率，所以，这里就考虑使用到yolov5-lite版本。可以看到官方的对比：同时在我的本地机器上面也是做了对比。
yolov8改进主干网络vit
01-22
### 将ViT集成到YOLOv8中的策略 为了在YOLOv8中引入Vision Transformer (ViT)，可以考虑采用混合架构设计，其中传统卷积神经网络(CNN)与基于Transformer的模块相结合。这种组合能够充分利用CNN捕捉局部特征的能力和Transformer处理全局依赖的优势。 #### 1. 替换部分卷积层为ViT Block 可以在YOLOv8骨干网的部分深层位置替换传统的卷积操作为ViT块。具体来说，在保持早期阶段使用标准卷积提取基础特征的同时，在更深层次处逐步过渡至ViT结构[^2]。这样做不仅保留了原始模型对于边缘、纹理等细节信息的有效获取能力，同时也增强了对复杂模式的理解力。 ```python from ultralytics import YOLO import torch.nn as nn class HybridBackbone(nn.Module): def __init__(self, base_model='yolov8'): super(HybridBackbone, self).__init__() # 加载预训练好的YOLOv8作为基底 yolov8 = YOLO(base_model).model # 假设我们只替换了最后几个stage stages_to_replace = ['backbone.stage3', 'backbone.stage4'] replaced_modules = {} for name, module in yolov8.named_children(): if any(stage_name in name for stage_name in stages_to_replace): # 这里简单示意用ViTBlock代替原有module replaced_modules[name] = ViTBlock() # 更新后的模型字典 updated_dict = {k:v for k,v in list(yolov8.state_dict().items()) + [(f'{n}.weight', m.weight.data.clone()) for n,m in replaced_modules.items()]} yolov8.load_state_dict(updated_dict) self.model = yolov8 def forward(self, x): return self.model(x) ``` #### 2. 设计专用的Neck Module 考虑到目标检测任务的特点，还需要特别关注如何有效地融合来自不同尺度的感受野信息。为此，建议构建专门针对此目的优化过的neck组件，比如FPN（Feature Pyramid Network）或PANet（Path Aggregation Network），并在此基础上加入跨尺度交互机制以促进多级表征之间的交流[^1]。 #### 3. 调整输入分辨率与Patch Size 由于ViTs通常工作于较高分辨率下，并且其patch size的选择也会影响最终性能表现，所以在实际应用过程中应当仔细调整这两个参数直至找到最佳配置方案。一般而言，较小尺寸的patches有助于提高空间分辨精度；而较大尺寸则有利于加快计算速度但可能会牺牲一些细粒度的信息[^3]。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值