YOLOv8改进 | 主干篇 | 华为移动端模型Ghostnetv2改进特征提取网络

原创 已于 2024-04-16 23:12:19 修改 · 3k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #YOLO #目标检测 #深度学习 #计算机视觉 #python #pytorch

于 2024-01-19 07:15:00 首次发布
本文详细介绍了华为移动端模型Ghostnetv2，特别是其硬件友好的DFC注意力机制和架构，以及如何将其应用于YOLOv8的特征提取网络进行改进。Ghostnetv2通过全连接层捕捉长距离依赖，提高模型在移动设备上的性能。文章还手把手指导读者进行代码修改，包括多个关键步骤，并提供了成功运行的记录。

一、本文介绍

本文给大家带来的改进机制是华为移动端模型Ghostnetv2，华为GhostNetV2是为移动应用设计的轻量级卷积神经网络（CNN），旨在提供更快的推理速度，其引入了一种硬件友好的注意力机制，称为DFC注意力。这个注意力机制是基于全连接层构建的，它的设计目的是在通用硬件上快速执行，并且能够捕捉像素之间的长距离依赖关系，本文将通过首先介绍其主要原理，然后手把手教大家如何使用该网络结构改进我们的特征提取网络。欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。

欢迎大家订阅我的专栏一起学习YOLO！

专栏目录：YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制

专栏回顾：YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备 

目录

一、本文介绍

二、Ghostnetv2原理

2.1  Ghostnetv2的基本原理

2.2 DFC注意力机制

 2.3 GhostNetV2架构

三、GhsetNetV2的核心代码

四、手把手教你添加GhsetNetV2

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四

4.5 修改五

4.6 修改六

4.7 修改七

4.8 修改八

注意！！！ 额外的修改！

打印计算量问题解决方案

注意事项！！！ 

五、GhsetNetV2的yaml文件

5.1 训练文件的代码

六、成功运行记录 

七、本文总结

二、Ghostnetv2原理

论文地址：论文官方地址

代码地址： 代码官方地址

 

了解本专栏 订阅专栏 解锁全文
YOLOv9改进，华为的轻量化架构GhostNetV2改进特征提取网络
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
09-26 770
GhostNetV2 架构通过引入DFC 注意力，提升了网络的表达能力，同时保持了在移动设备上的高效性。DFC 注意力机制使用两个解耦的全连接层来处理特征图的水平和垂直方向。通过将输入特征图沿水平方向和垂直方向进行特征聚合，DFC注意力机制能够捕捉到全局信息，并提升模型的表达能力
YOLOv8 升级之路：GhostNetV2 主干网络解析与实操
一直在水些技术小文
09-20 2013
我们将介绍 GhostNetV2 的核心概念，然后通过示例和代码，带你深入了解如何在 YOLOv8 中使用 GhostNetV2，并进行实际操作。GhostNetV2 是 GhostNet 的进一步发展，GhostNet 是一种轻量级的神经网络架构，旨在在保持高精度的同时降低模型的复杂性。这将显著提高模型的性能，同时保持模型的轻量级特性。在开始之前，你需要确保你的环境中已经安装了相关的深度学习框架（如 PyTorch 或 TensorFlow）以及 YOLOv8 和 GhostNetV2 的库。
YOLOv5轻量化骨干设计，通过结合GHostNetv2结构实现计算量降低
qq_44224801的博客
05-21 3034
GhostNetv2是一种针对移动设备和边缘设备的优化神经网络，其设计继承了GhostNetv1的高效节省计算资源的特性，并在其基础上引入了一种新的注意力模块——DFC注意力模块，以增强模型对长距离空间信息的处理能力。DFC注意力模块是一种基于解耦全连接层的注意力机制，设计满足以下三个条件：对空间长距离信息的建模能力强；部署高效，对硬件友好且计算高效；概念简单，便于保证注意力模块的泛化能力。对于端侧设备这类计算资源受限的环境，以上设计目标帮助模型在提升性能的同时，不牺牲实时性和部署效率。
YOLOv8新版本解读：优化点和GhostNetv2网络对比说明
GzvDart的博客
09-17 799
具体而言，GhostNetv2使用了轻量级的注意力模块，通过在不同层级的特征图之间建立连接和交互，来实现特征的融合。综上所述，YOLOv8的新版本在优化点上进行了改进，通过改进骨干网络、特征融合策略、多尺度训练和数据增强等方面，提高了目标检测的性能。数据增强策略的改进：为了增加训练数据的多样性和模型的鲁棒性，YOLOv8新版本引入了更多的数据增强策略，如随机缩放、随机裁剪和颜色抖动等。Backbone网络的改进：YOLOv8的新版本采用了更强大的骨干网络，以提高特征提取的性能。
YOLOv5改进 | 主干篇 | 华为移动端模型GhostnetV2一种移动端的专用特征提取网络
Snu77的博客
01-20 1378
本文给大家带来的改进机制是华为移动端模型Ghostnetv2，华为GhostNetV2是为移动应用设计的轻量级卷积神经网络（CNN），旨在提供更快的推理速度，其引入了一种硬件友好的注意力机制，称为DFC注意力。这个注意力机制是基于全连接层构建的，它的设计目的是在通用硬件上快速执行，并且能够捕捉像素之间的长距离依赖关系，本文将通过首先介绍其主要原理，然后手把手教大家如何使用该网络结构改进我们的特征提取网络。欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。
YOLOv8改进 | 主干篇 | 华为移动端模型Ghostnetv1改进特征提取网络
Snu77的博客
01-18 1980
本文给大家带来的改进机制是华为移动端模型Ghostnetv1，华为的GhostNet是一种轻量级卷积神经网络，旨在在计算资源有限的嵌入式设备上实现高性能的图像分类。GhostNet的关键思想在于通过引入Ghost模块，以较低的计算成本增加了特征图的数量，从而提高了模型的性能。这种方法在计算资源有限的情况下，尤其适用于图像分类任务，并在一些基准测试中表现出了很好的性能。本文将通过首先介绍其主要原理，然后手把手教大家如何使用该网络结构改进我们的特征提取网络。
YOLOv10改进 | 主干/Backbone篇 | 华为移动端模型Ghostnetv2改进特征提取网络
Snu77的博客
07-14 1080
本文给大家带来的改进机制是华为移动端模型Ghostnetv2，华为GhostNetV2是为移动应用设计的轻量级卷积神经网络（CNN），旨在提供更快的推理速度，其引入了一种硬件友好的注意力机制，称为DFC注意力。这个注意力机制是基于全连接层构建的，它的设计目的是在通用硬件上快速执行，并且能够捕捉像素之间的长距离依赖关系，本文将通过首先介绍其主要原理，然后手把手教大家如何使用该网络结构改进我们的特征提取网络。欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。
【YOLOv8改进 - 注意力机制】ContextAggregation : 上下文聚合模块，捕捉局部和全局上下文，增强特征表示
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-24 727
卷积神经网络（CNNs）在计算机视觉中无处不在，具有众多高效的变体。最近，最初在自然语言处理（NLP）中引入的Transformers越来越多地被应用于计算机视觉领域。尽管早期采用者继续使用CNN骨干网络，但最新的网络是端到端的、无CNN的Transformer解决方案。一个最近令人惊讶的发现表明，基于简单多层感知机（MLP）的解决方案，即使没有传统的卷积或Transformer组件，也能生成有效的视觉表示。
yolov8魔改之Ghost引入
Littro Innovations
06-04 1451
Ghost层是在CVPR 2020上由华为诺亚方舟实验室提出的7。它是一种新型的端侧神经网络架构，称为GhostNet。Ghost层的核心思想是通过廉价操作生成更多的特征图，从而在保持精度的同时减少计算量和参数量。在YOLO（You Only Look Once）目标检测模型中引入Ghost层是可行的，并且可以带来一些潜在的性能提升。这些改进使得Ghost层及其衍生架构在轻量化网络设计和推理加速方面具有显著的技术提升。以下是引入Ghost的网络层结构。
yolov8添加ghost
Darksidebling的博客
11-14 596
具体的还有很多操作 别的部分应该也是类似的加入。
Yolov8轻量化：RepGhost，通过重参数化实现硬件高效的Ghost模块
UksApps的博客
09-22 1617
Ghost模块是Yolov8中的重要组成部分，它用于提取图像特征。然而，传统的Ghost模块在计算量上可能存在一些问题，特别是在资源受限的设备上。RepGhost通过对Ghost模块进行重参数化，使得模块在硬件上更加高效。本文介绍了Yolov8轻量化的改进方法RepGhost，该方法通过对Ghost模块进行重参数化，实现了在硬件上的高效计算。通过将Ghost模块的卷积操作分解为轻量级的卷积和残差连接，RepGhost减少了计算量，并提高了目标检测的效率。
【YOLOv8改进】 YOLOv8 更换骨干网络之 GhostNet ：通过低成本操作获得更多特征 (论文笔记+引入代码)
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
02-18 8677
在嵌入式设备上部署卷积神经网络（CNNs）由于有限的内存和计算资源而变得困难。特征图中的冗余是那些成功的CNNs的一个重要特性，但在神经架构设计中很少被研究。本文提出了一种新颖的Ghost模块，用于通过低成本操作生成更多的特征图。基于一组内在特征图，我们应用一系列低成本的线性变换来生成许多能够充分揭示内在特征信息的幽灵特征图。所提出的Ghost模块可以作为一个即插即用的组件来升级现有的卷积神经网络。设计了Ghost瓶颈来堆叠Ghost模块，然后可以轻松建立轻量级的GhostNet。在基准测试上进行的实验表明
YOLOv8改进策略【模型轻量化】| 替换骨干网络为 GhostNet V1 基于 Ghost Module 和 Ghost Bottlenecks的轻量化网络结构
Limiiiing的博客
12-16 403
本文记录的是基于的YOLOv8网络模型轻量化方法研究。GhostNet中的Ghost模块和Ghost瓶颈结构是其轻量化的关键。Ghost模块克服了传统卷积层计算资源需求大的问题,Ghost瓶颈则合理设计了通道数量的变化以及与捷径连接的方式，能更好地在减少计算成本的同时保持较高性能，从而提升模型在移动设备上的应用能力和效率。
Yolov8轻量级网络：Ghostnet、G_ghost、Ghostnetv2家族大作战（一）：华为Ghostnet，超越谷歌MobileNet | CVPR2020
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
06-20 2277
Yolov8引入轻量级网络Ghostnet、G_ghost、Ghostnetv2等，减少最新的深度神经网络的计算成本，引入高效的神经网络结构。
YOLOv8 | 鬼魅（幽灵）卷积 | 改进Ghost卷积轻量化网络
kay_545
03-27 3781
卷积层和建议的 Ghost 模块的图示，用于输出相同数量的特征图。Φ 代表廉价操作深度卷积神经网络通常由大量卷积组成，这会导致巨大的计算成本。尽管 MobileNet 和 ShuffleNet 等最近的工作引入了深度卷积或洗牌操作，以使用较小的卷积滤波器（浮点数操作）构建高效的 CNN，但剩余的 1 × 1 卷积层仍然会占用大量内存和失败。其中*是卷积运算，b是偏置项，Y ∈ Rh′×w′×n是n个通道的输出特征图，f ∈ Rc×k×k×n是该层的卷积滤波器。
主干网络篇 | YOLOv8 更换主干网络之 GhostNetV2 | 《GhostNetV2：利用长距离注意力增强廉价操作》
YOLOv8项目贡献者
04-21 6399
YOLOv8 更换主干网络之 GhostNetV2 教程
YOLOv8主干网络升级篇：使用GhostNetV2增强模型性能
带你成为别人眼中的大佬！
06-02 1893
通过使用GhostModule（一种特殊的卷积模块）和GhostBottleneckBlock（一种轻量级的残差块），GhostNetV2可以减少网络参数，节约存储空间，并在保持高准确率的同时实现快速推理。最终，我们将GhostNetV2主干网络嵌入到YOLOv8中，并进行训练和测试，在COCO数据集上达到了比DarkNet53更好的性能表现，同时计算成本也得到了明显降低。综上所述，本篇文章介绍了如何在YOLOv8中使用GhostNetV2主干网络，以进一步提升目标检测模型的性能。
芒果YOLOv8改进121：基于Ghost提出多种原创结构ReNLANGhost, CSCGhost, CPNGhost, C3_Ghost, C2f_Ghost等，即插即用，提升小目标检测
包括YOLOv5、YOLOv7、YOLOv8等模型改进
03-25 591
基于Ghost提出多种原创结构ReNLANGhost, CSCGhost, CPNGhost, C3_Ghost, C2f_Ghost等，即插即用
yolov8的特征提取网络
最新发布
03-08
### YOLOv8 特征提取网络架构及组成部分 #### 一、SimRepCSP 主干网络 YOLOv8采用SimRepCSP作为主干网络来提取特征[^1]。该网络通过优化网络架构、减少计算和内存成本以及增强特征提取和参数调优，显著提高了模型的效率和性能。 ```python class SimRepCSP(nn.Module): def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5): super(SimRepCSP, self).__init__() c_ = int(c2 * e) # hidden channels self.cv1 = Conv(c1, c_, 1, 1) self.cv2 = nn.Conv2d(c1, c_, 1, 1, bias=False) self.cv3 = nn.Conv2d(c_, c_, 1, 1, bias=False) self.cv4 = Conv(2 * c_, c2, 1, 1) self.bn = nn.BatchNorm2d(2 * c_) self.act = nn.LeakyReLU(0.1, inplace=True) self.m = nn.Sequential(*[Bottleneck(c_, c_, shortcut, g, e=1.0) for _ in range(n)]) def forward(self, x): y1 = self.cv3(self.m(self.cv1(x))) y2 = self.cv2(x) return self.cv4(self.act(self.bn(torch.cat((y1, y2), dim=1)))) ``` #### 二、EfficientViT 高效特征提取网络 除了SimRepCSP外，另一种用于改进YOLOv8特征提取的方法是使用EfficientViT高效的特征提取网络[^2]。这种轻量化网络结构能够提供更优秀的特征表达能力，在保持低资源消耗的同时提升检测效果。 #### 三、Ghostnetv2 移动端模型 华为提出的Ghostnetv2也是一种有效的特征提取方案[^3]。它作为一种轻量级高效卷积神经网络架构，可以在不牺牲太多性能的情况下大幅降低模型复杂度，适用于移动设备上的实时目标检测任务。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值