YOLOv5改进 | 主干篇 | 高效的视觉ViT网络EfficientViT替换Backbone（高效的视觉变换网络）

Snu77

已于 2024-03-18 09:51:25 修改

阅读量1.8k

点赞数 26

CC 4.0 BY-SA版权

分类专栏： YOLOv5改进有效专栏文章标签： YOLO 深度学习人工智能 pytorch python 目标检测计算机视觉

于 2024-01-10 05:15:08 首次发布

本文链接：https://blog.youkuaiyun.com/java1314777/article/details/135443733

YOLOv5改进有效专栏专栏收录该内容

132 篇文章 ¥129.90 ¥299.90

订阅专栏

本文介绍了如何将EfficientViT，一种高效的视觉变换网络，应用于YOLOv5以改进目标检测性能。通过多尺度线性注意力机制、轻量级操作和硬件效率优化，EfficientViT在保持高性能的同时，显著提高了计算效率。文章详细阐述了模型原理，并提供了逐步指导，包括代码修改和yaml配置文件，以帮助读者成功集成并运行该模型。

一、本文介绍

本文给大家带来的改进机制是EfficientViT（高效的视觉变换网络），EfficientViT的核心是一种轻量级的多尺度线性注意力模块，能够在只使用硬件高效操作的情况下实现全局感受野和多尺度学习。本文带来是2023年的最新版本的EfficientViT网络结构，论文题目是'EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction'这个版本的模型结构(这点大家需要注意以下)。同时本文通过介绍其模型原理，然后手把手教你添加到网络结构中去，最后提供我完美运行的记录，如果大家运行过程中的有任何问题，都可以评论区留言，我都会进行回复。亲测在小目标检测和大尺度目标检测的数据集上都有大幅度的涨点效果(mAP直接涨了大概有0.1左右)

推荐指数：⭐⭐⭐⭐⭐

涨点效果：⭐⭐⭐⭐⭐

专栏目录：

YOLOv5改进有效涨点目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制

专栏回顾：YOLOv5改进专栏——持续复现各种顶会内容——内含100+创新

一、本文介绍

二、EfficientViT模型原理

2.1 EfficientViT的基本原理

2.2 多尺度线性注意力机制

2.3 轻量级和硬件高效操作

2.4 显著的性能提升和速度加快

三、EfficienViT的完整代码

四、手把手叫你天EfficienViT网络结构

修改一

修改二

修改三

修改四

修改五

修改六

修改七

五、EfficientViT2023yaml文件

六、成功运行记录

七、本文总结

二、EfficientViT模型原理

论文地址：官方论文地址

代码地址：官方代码地址

了解本专栏

15 条评论

weixin_51583736 2025.02.11
请问替换之后的head里的concat是 3和2 那么我想加一个检测头的话为什么concat 1报错got NoneType呢，是没有1这一层吗

joncui 2024.08.04
必须是yolov5的6.0版本吗？我用7.0版本报错，forward缺少参数'x'。
- Snu77回复joncui 2024.08.06
  需要改的不正确仔细检查下肯定哪里遗漏了，我也是7.0版本.

weixin_45073243 2024.03.04
Traceback (most recent call last): File "train.py", line 647, in <module> main(opt) File "train.py", line 536, in main train(opt.hyp, opt, device, callbacks) File "train.py", line 130, in train model = Model(cfg or ckpt['model'].yaml, ch=3, nc=nc, anchors=hyp.get('anchors')).to(device) # create File "/root/cmx/yolov5-master/models/yolo.py", line 224, in __init__ self.model, self.save = parse_model(deepcopy(self.yaml), ch=[ch]) # model, savelist File "/root/cmx/yolov5-master/models/yolo.py", line 353, in parse_model m = eval(m) if isinstance(m, str) else m # eval strings File "<string>", line 1, in <module> NameError: name 'efficientvit_backbone_b0' is not defined 博主我显示这个问题是什么原因呀
- weixin_45073243回复weixin_45073243 2024.03.04
  我在elif里面加effcientvit backbone_b0了

m0_70676651 2024.02.26
RuntimeError: Input type (torch.cuda.HalfTensor) and weight type (torch.cuda.FloatTensor) should be the same.这种情况怎么解决？
- Snu77回复m0_51930956 2024.04.26
  没事，是在训练的验证阶段还是刚训练就报错
- m0_51930956回复Snu77 2024.04.26
  博主您好，我也报了这样的错误，可是我的版本已经是最新的v7.0版本呀
- Snu77回复m0_70676651 2024.02.26
  换最新版本的V5

宽后藤 2024.01.21
用yolo.py检查的时候报错，好像核心代码里有数据类型问题 Traceback (most recent call last): File "models/yolo.py", line 24, in <module> from models.modules import * File "D:\yolov5-master\models\modules\__init__.py", line 4, in <module> from .EfficientViT import * File "D:\yolov5-master\models\modules\EfficientViT.py", line 17, in <module> REGISTERED_NORM_DICT: dict[str, type] = { TypeError: 'type' object is not subscriptable
- aixiaofan02回复Snu77 2024.05.25
  3.8不能用这个吗
- 宽后藤回复Snu77 2024.01.21
  好的，我是3.8
- Snu77回复宽后藤 2024.01.21
  版本问题，这个支持住python3.9