（C1-1）MobileNet、ShuffleNet、GhostNet

已于 2022-12-15 19:49:50 修改
阅读量493 收藏 4
点赞数
分类专栏： CNN基础知识积累 文章标签： 深度学习 人工智能 计算机视觉
于 2022-12-12 18:43:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lwqian102112/article/details/128291241
版权

轻量化模型架构

1、MobileNet

MobileNet(V1,V2,V3)网络结构详解与模型的搭建
可分离卷积及深度可分离卷积详解

V1

创新点：引入深度可分离卷积
存在的问题：Depthwise Convolution存在潜在问题，训练后部分信息丢失，导致部分kernel的权值为0。

在这里插入图片描述

V2

创新点：1、Inverted Residuals 倒残差结构；2、Linear Bottlenecks；

Q1：MobileNetv2这样设计的思路？
Q2：为什么叫倒残差结构？
看完下面的博文就有答案：详解MobileNetV2 ⭐
尝试引入 Residuals 模块并针对 ReLU 激活函数进行研究，动机相当明确，故事也很清晰。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

MobileNet V2 论文初读 相对一般
轻量化网络：MobileNet-V2 参数解释很棒，根据下表可以直接写出对应的网络结构

在这里插入图片描述

在这里插入图片描述

代码实现

拆解出来的代码结构

深度学习之图像分类（十一）–MobileNetV2 网络结构

直接从已有包中导入

from torchvision.models import mobilenet_v2

完整可训练测试网络

实现pytorch实现MobileNet-v2（CNN经典网络模型详解）

2、ShuffleNet

3、GhostNet

CVPR 2020：华为GhostNet，超越谷歌MobileNet，已开源 官方解释
GhostNet论文解析：Ghost Module
经典回顾：GhostNet 非常精炼的多方资料总结的博文

创新点：通过普通卷积产生一组特征图，然后通过简单的线性变换产生更多的特征图。
好处：不改变输入输出特征图的前提下，大幅减少模型的参数量和计算量。

在这里插入图片描述

在这里插入图片描述

核心代码理解

构建自己的GhostNet网络(PyTorch) ⭐代码结构讲解到位

GhostNet详解及代码实现 完整非官方代码，可读性更好
GhostNet官方代码

1、_make_divisible函数能够保证输出通道的数目能够被4整除

2、GhostBottleneck模块构成

在这里插入图片描述

附录

可参考代码资料

检索发现的github多模型项目，记录以供参考

在这里插入图片描述

改进YOLOv5：涨点必备 | 创新实用 | 轻量化骨干网络大一统，包含FastNet、ShuffleNet、mobileNet、Ghostnet等
qq_44224801的博客
04-29 3963
本文实现了YOLOv8结合各种轻量化骨干网络，实现一篇文章助你实现YOLOv8轻量化。本文不仅实现了YOLOv8结合各种骨干网络，并且给出的多种结合形式，如替换轻量化卷积PConv、替换轻量化Block以及替换轻量化骨干。
改进YOLOv5：MobileNEtv2、v3篇**涨点必备 | 创新实用 | 轻量化骨干网络大一统，包含FastNet、ShuffleNet、mobileNet、Ghostnet等
qq_44224801的博客
05-18 1484
​   轻量化MobileNEtv2、v3​   轻量化MobileNEtv2、v3。
轻量型模型之总结（mobilenet，shufflenet，ghostnet）
litt1e的博客
10-08 3214
在介绍这些模型前，首先我们了解一下分组卷积的概念。 分组卷积 上图表示普通卷积操作，即输入H×W×C1H\times W\times C1H×W×C1经过C1×H1×W1×C2C1\times H1\times W1\times C2C1×H1×W1×C2的卷积核，卷积成H×W×C2H\times W\times C2H×W×C2的feature map。其参数量是：C1×H1×W1×C2C1\times H1\times W1\times C2C1×H1×W1×C2; FLOPS:H×W×C1×C2×H
轻量化CNN模型整理—MobileNet，ShuffleNet，GhostNet
Mr_111000的专栏
06-21 6567
目前CNN的整体发展趋势是向着更深、更复杂的网络发展，但也因此导致了更高的计算代价。而在实际应用中，网络可能需要部署在计算资源有限的平台上，因此简化网络规模、提高网络效率也成为卷积网络研究的一个方向。​本文主要整理了轻量化网络结构设计研究中的几个经典网络模型：MobileNet、ShuffleNet和GhostNet。
MobileNet、GhostNet理解及测试
Brikie的博客
01-17 3184
MobileNet和GhostNet是两个可在端侧使用的轻量级图像识别网络，本文分别介绍其主要原理，即深度可分离卷积的原理和Ghost模块的原理，然后在cifar10上进行试验对比分析其参数量、速度和精度等。
图像识别经典轻量级网络模型总结梳理、原理解析与优劣对比分析
Together_CZ的博客
12-06 4113
图像识别经典轻量级网络模型总结梳理、原理解析与优劣对比分析
ghostnet与mobilenetv3、mobilenetv2对比
pilykuang的专栏
09-24 1830
同等计算量，mobilenetv3 small比mobilenetv2精度高，ghostnet比mobilenetv3 small精度高，mobilenetv3 small + anti-aliased比mobilenetv3 small精度高；mobilenetv3使用的SE模块有助于涨点。anti-aliased BlurPool在stride=2之前使用低通滤波，增加了平移不变性，测试同样提高的精度 ...
YOLOv5改进系列（二）结合轻量化网络GhostNet
最新发布
m0_55908255的博客
02-16 1033
此文的Ghost Module、Ghost Bottleneck主要针对官方提供的YOLOv5源码中的实现作讲解，与原生的华为官方提供的源码简化了很多。在我的数据集上跑10个epoch的结果（没有使用预训练权重），可以看到虽然计算量和参数量降低了很多，但是精度也掉了很多。这些特征图是由卷积操作得到，又输入到下一个卷积层进行运算，这个过程包含大量的网络参数，消耗了大量的计算资源。的源码实现，不过需要注意的是相比于华为的源码是简化版本。中的冗余信息可能是一个成功模型的重要组成部分，中的结构的模型训练结果。
YOLOv5改进系列(三) 更换backbone主干MobileNetV3，ShuffleNetV2，EfficientNetv2，GhostNet，SwinTransformer
专注于人工智能学习，总结
12-14 2683
文章目录MobileNetV3一、MobileNetV3原理**1.1 MobileNetV3简介**1.2 **MobileNetV3相关技术**二、YOLOv5结合MobileNetV3_small2.1 添加顺序2.2 具体添加步骤**第①步：在common.py中添加**MobileNetV3**模块****第②步：在yolo.py文件里的parse_model函数加入类名****第③步：创建自定义的yaml文件**第④步：验证是否加入成功**第⑤步：修改train.py中 ‘--cfg’默认参数*
Yolov5/Yolov7改进CVPR2023 FasterNet远超ShuffleNet、MobileNet、MobileViT，引入PConv结构map涨点的同时进一步降低参数量
03-16 5330
Yolov5/Yolov7改进CVPR2023主干FasterNet PConv，​ 在yolov5 ​工业油污缺陷检测检测项目PConv map从0.740提升至0.764，涨点明显，博主多个数据集亲测有效，实现暴力涨点； ​
移动端轻量级模型开发谁更胜一筹，efficientnet、mobilenetv2、mobilenetv3、ghostnet、mnasnet、shufflenetv2驾驶危险行为识别模型对比开发测试
Together_CZ的博客
11-23 3655
移动端轻量级模型开发谁更胜一筹，efficientnet、mobilenetv2、mobilenetv3、ghostnet、mnasnet、shufflenetv2驾驶危险行为识别模型对比开发测试
华为的GhostNet是如何超越Google的MobileNet的
二分掌柜的
04-21 1437
目标检测 SSD: Single Shot MultiBox Detector - 综述 flyfish 论文的效果 对于图片大小为300×300的输入，SSD在VOC2007测试中以59FPS的速度在Nvidia Titan X上达到74.3%的mAP，对于图片大小为512×512的输入，SSD达到了76.9%的mAP 数据集（VOC） VOC数据集的类别个数是21,还有一个没在列表里的背景 V...
通俗易懂理解GhostNetV2轻量级神经网络模型
IT菜鸟
02-24 5757
通俗易懂理解GhostNetV2网络模型
【读点论文】GhostNetV3: Exploring the Training Strategies for Compact Models，感觉是调参作品，知识蒸馏，学习率调整，EMA,重参数...
白水空空
05-08 1736
目前最先进的模型MobileFormer实现了79.3%的前1级精度，延迟为129.58ms，这在现实世界的应用中是负担不起的。接下来，我们将GhostNetV3与其他基于CNN的紧凑型模型进行比较，包括MobileNets、ShuffleNets、MixNet、MNASNet、FBNet、EfficientNet和MobileOne，其中FBNet、MNASNet和MobileNetV3是基于搜索的模型，其他是手动设计的模型。因此，KD 采用更大的模型作为教师来指导紧凑模型的学习，是提高性能的合适方法。
GhostNetV3：探索紧凑模型的训练策略
AI浩
04-23 2042
论文链接：https://arxiv.org/pdf/2404.11202.pdf紧凑神经网络是专为边缘设备设计的，这些设备具有更快的推理速度但性能适中。然而，目前紧凑模型的训练策略是从传统模型中借鉴的，这忽略了它们在模型容量上的差异，因此可能阻碍紧凑模型的性能。在本文中，我们通过对不同训练成分进行系统调查，为紧凑模型引入了一种强大的训练策略。我们发现，适当的重参数化和知识蒸馏设计对于训练高性能紧凑模型至关重要，而一些常用于训练传统模型的数据增强方法，如Mixup和CutMix，反而会导致性能下降。
轻量级网络CNN系列（二）：GhostNetV2
梦坠凡尘
06-29 3019
而在 DFC 中，每个 patch 的注意力值的计算直接与它水平或垂直位置的 patch 有关，而这些水平或垂直位置的 patch 的计算又与它们水平或垂直位置的 patch 有关。DW卷积的一个卷积核负责一个通道，例如对一个3×5×5的图片，输出通道数要与输入通道数相同，则普通卷积操作需要3×3×3×3的卷积核，但DW卷积操作只需要3×3×3的卷积核。PW卷积相反，是一个1×1×C的卷积核，对每个通道的相同位置进行加权和，C为输入特征图的通道数，若输出通道数为5，则卷积核shape为C×1×1×5。
【YOLOv8改进】 YOLOv8 更换骨干网络之GhostNetV3步骤详解
yangsn0719的博客
10-12 2598
这里yolov8源码版本是 ultralytics-8.2.54 GhostNetV3 源码下载 https://codeload.github.com/huawei-noah/Efficient-AI-Backbones 将ghostnetv3.py文件复制一份到源码./ultralytics-8.2.54/ultralytics/nn/modules路径下 我根据mobilenetv4的教程，修改了ghostnetv3.py文件的以下部分： class GhostNet(nn.Module):
主干网络篇 | YOLOv8 更换主干网络之 GhostNetV2 | 《GhostNetV2：利用长距离注意力增强廉价操作》
YOLOv8项目贡献者
04-21 6004
YOLOv8 更换主干网络之 GhostNetV2 教程
YOLOv8改进 | 主干篇 | 华为移动端模型Ghostnetv2改进特征提取网络
Snu77的博客
01-19 2814
本文给大家带来的改进机制是华为移动端模型Ghostnetv2，华为GhostNetV2是为移动应用设计的轻量级卷积神经网络（CNN），旨在提供更快的推理速度，其引入了一种硬件友好的注意力机制，称为DFC注意力。这个注意力机制是基于全连接层构建的，它的设计目的是在通用硬件上快速执行，并且能够捕捉像素之间的长距离依赖关系，本文将通过首先介绍其主要原理，然后手把手教大家如何使用该网络结构改进我们的特征提取网络。欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。
小娱C1-C5升级磊科NBR100固件教程
1. **小娱C1-C5设备** - 小娱C1-C5是特定型号的网络设备，可能是一款无线路由器或是网络桥接器。这类设备通常用于家庭或小型办公网络环境中。 - “刷底包”是网络设备固件升级的术语，指的是首先将设备恢复到厂家...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值