【轻量化结构】一文带你看遍轻量化网络结构模型

已于 2024-03-21 23:52:27 修改
阅读量9.9k 收藏 134
点赞数 55
分类专栏： 剪枝 蒸馏 量化 部署 文章标签： 深度学习 人工智能
于 2024-03-06 16:01:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_51579041/article/details/136507715
版权

文章目录

前言

本篇博客将记录常见的17种轻量化模型结构，分析其轻量化技巧。
后续将持续发布模型压缩方面的博文，有需要的读者记得点下关注。

一、首页

在这里插入图片描述

二、轻量化网络：移动端，终端边缘计算

在这里插入图片描述

三、轻量化网络模型

在这里插入图片描述

四、VGG：传统3x3卷积搭建网络的极限

在这里插入图片描述

五、RepVGG：结构重参数化

在这里插入图片描述

六、ResNet：残差网络，解决退化问题

在这里插入图片描述
在这里插入图片描述

七、DenseNet：比ResNet更优的CNN模型

在这里插入图片描述

八、InceptionV1：GoogLeNet，谷歌出品

在这里插入图片描述
在这里插入图片描述

九、InceptionV2 && V3

在这里插入图片描述

十、InceptionV4

在这里插入图片描述

十一、深度可分离卷积

在这里插入图片描述

十二、Xception

在这里插入图片描述

十三、MobileNetV1

在这里插入图片描述

十四、MobileNetV2

在这里插入图片描述

十五、通道注意力机制

在这里插入图片描述

十六、MobileNetV3

在这里插入图片描述

十七、GhostNet：幻象网络，华为出品

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

十八、EfficientNet：NAS搜索出来的网络

在这里插入图片描述

十九、ShuffleNetV1：旷视科技

在这里插入图片描述
在这里插入图片描述

二十、ShuffleNetV2

在这里插入图片描述
在这里插入图片描述

二十一、谁才是轻量级CNN的王者？MobileNet/ShuffleNet/GhostNet评测

在这里插入图片描述

二十二、FastestDet：ShuffleNetv2的应用，比yolo-fastest更快

在这里插入图片描述
在这里插入图片描述

总结

本篇博客将记录常见的17种轻量化模型结构，分析其轻量化技巧。
值得一提的是从结构角度进行轻量化设计，往往比其他模型压缩技巧，如剪枝，蒸馏，更有实际意义。优先考虑结构的轻量化设计，然后才是剪枝，蒸馏等模型压缩方法。

【网络加速】轻量化网络结构设计[一]
菜鸡AI
05-07 1284
文章目录轻量化网络结构设计前言：1、神经网络 over-parameterized2、训练好的神经网络参数冗余3、推理运算需要加速轻量化网络结构设计[一]1、MobileNet v11.1 核心思想1.2 网络结构1.3 宽度缩放因子（width multiplier）1.4 分辨率缩放因子（resolution multiplier） 轻量化网络结构设计 前言： 网络加速作为算法的下游核心，那么为什么要网络加速？对应又有那么操作点？我们先来个概况性的框架。我建议学习新知识或总结归纳知识的时候，一定要有个总
轻量化网络综述
05-22
包含自己做的一个presentation，和相关的参考文献，shuffleNet，MobileNet v1 Mobilev2,等
轻量图像超分辨率残差网络：Attention与ResNet融合
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！想进粉丝福利群及免费送书群，直接私信我拉你。交流学习、商务合作：https://bbs.youkuaiyun.com/topics/614347534
04-01 5万+
本文提出了一种名为RNET（Residual Network with Efficient Transformer）的网络，该网络结合了三种有效的设计元素：1. 使用蓝图可分离卷积代替传统卷积，减少计算负担。2. 提出局部特征提取的残差连接结构，简化特征聚合，加速推理。3. 将空间注意和通道注意机制被整合到我们的模型中。注意力机制通过让模型关注图像关键区域提升了识别精度，而轻量级残差网络通过减少参数和计算量，实现了在低资源消耗下的优秀性能。结合注意力机制与轻量级残差网络。
【轻量化】三个经典轻量化网络解读
最新发布
地平线开发者
04-09 905
轻量化网络旨在减少模型参数和计算量，同时保持较高准确率。为了降低设备能耗，提升实时性，轻量化网络结构在嵌入式设备等资源受限环境中广泛应用。
轻量化CNN网络 - MobileNet
Life And Code
01-17 1661
自从2017年由谷歌公司提出，MobileNet可谓是轻量级网络中的Inception，经历了一代又一代的更新。成为了学习轻量级网络的必经之路。
经典网络结构 (八)：轻量化网络 (SqueezeNet, MobileNet, ShuffleNet)
连理o的博客
03-13 1万+
目录SqueezeNet: Squeeze and ExpandFire ModuleSqueezeNetSqueezeNet 总结MobileNet: Depthwise Separable ConvolutionShuffleNet: 通道混洗参考文献 SqueezeNet: Squeeze and Expand Fire Module SqueezeNet 的主要模块为 Fire Module，它主要从网络结构优化的角度出发，使用了如下 3 点策略来减少网络参数，提升网络性能： (1) 使用 1×
轻量级网络结构
程序猿的视界
08-14 2069
轻量级网络
轻量化CNN模型整理—MobileNet，ShuffleNet，GhostNet
Mr_111000的专栏
06-21 6747
目前CNN的整体发展趋势是向着更深、更复杂的网络发展，但也因此导致了更高的计算代价。而在实际应用中，网络可能需要部署在计算资源有限的平台上，因此简化网络规模、提高网络效率也成为卷积网络研究的一个方向。​本文主要整理了轻量化网络结构设计研究中的几个经典网络模型：MobileNet、ShuffleNet和GhostNet。
轻量化神经网络模型总结：SqueezeNet、Xception、MobileNet、ShuffleNet
I am what i am
08-20 1万+
总结今年来的几个轻量化模型：SqueezeNet、Xception、MobileNet、ShuffleNet 下面给出时间轴： 2016.02 伯克利&斯坦福提出 SqueezeNet 2016.10 google提出 Xception 2017.04 google提出 MobileNet 2017.07 face++提出 Shuffle...
轻量化网络：MobileNet-V2
热门推荐
人工智能技术学习与分享
01-23 15万+
创新点 正文 MobileNet-V2网络结构 MobileNetV2: 《Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation》 于2018年1月公开在arXiv(美[ˈɑ:rkaɪv]) ：https://arxi...
【网络结构】轻量级网络模型shuffleNet
weixin_41798111的博客
06-14 593
推荐一下看到的比较好的文章： 『高性能模型』轻量级网络ShuffleNet_v1及v2：https://www.cnblogs.com/hellcat/p/10318630.html 个人理解与MoblieNet之间的区别在于分组卷积后的操作 MobileNet包括depthwise convolution和pointwise convolution两部分，depthwise convolution将输入特征分组卷积，减少每组卷积特征通道数，从而减少参数量和计算量；pointwise convo.
SENet-轻量化网络结构
TJMtaotao的博客，高校计算机教师
12-13 1377
《Squeeze-and-Excitation Networks》 论文链接：https://arxiv.org/abs/1709.01507 代码地址：https://github.com/hujie-frank/SENet PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch 卷积神经网络（...
轻量化网络总结[2]--ShuffleNetv1/v2，OSNet，GhostNet
Gthan
06-15 6268
轻量化网络模型的核心是在保持精度的前提下，从模型大小和推理速度两方面综合对网络进行轻量化改造，使深度学习网络模型更容易部署在移动端或嵌入式设备。详细介绍轻量化网络模型ShuffleNetv1/v2，OSNet，GhostNet...............
轻量化网络结构——SqueezeNet
小花生的博客
09-12 3671
《SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and<0.5MB model size》 UC Berkely 和 Stanford University 1.相同准确率下，更少参数量的模型有几点好处： 1）更加高效的分布式训练 2）向客户端提供新模型的开销更小 3）FPGA和嵌入式设备部署更便利 ...
[ 轻量级网络 ] 经典网络模型1——SqueezeNet 详解与复现
A_John 的博客
05-03 1万+
[ 轻量级网络 ] 经典网络模型1——SqueezeNet 详解与复现； 1、SqueezeNet； 2、SqueezeNet详解； 3、SqueezeNet复现； SqueezeNet 在 ImageNet 上实现与 AlexNet 同等级别的精度，但 参数少了50倍 ； 通过模型压缩技术，实现了 SqueezeNet 模型压缩到小于0.5MB，相比 AlexNet 模型小了510倍 ； 🔗 论文地址：SqueezeNet: AlexNet-level accuracy with 50x fewer...
轻量化网络
Major_S的博客
07-25 550
轻量化网络轻量化网络轻量化网络 网络结构设计： SqueezeNet MobileNets ShuffleNet Xception 模型压缩： 1.知识蒸馏： Distilling the Knowledge in a Neural Network Fitnets Attention Transfer FSP matrix BANs RKD 2.剪枝 Deep Compression Networks Slimming Pruning for Resource Efficient Trans
图像识别经典轻量级网络模型总结梳理、原理解析与优劣对比分析
Together_CZ的博客
12-06 4216
图像识别经典轻量级网络模型总结梳理、原理解析与优劣对比分析
Your unlicensed Adobe app will be disabled soon. Replace it at a discount to keep working.
12-27
对于希望合法化软件使用并寻找折扣来替代未授权的Adobe应用程序的情况，可以考虑以下几个建议： 购买官方提供的订阅服务优惠： Adobe经常提供促销活动给新用户提供首月低价或者多个月份的折扣价格。这些优惠可以通过Adobe官方网站直接获得。 教育机构和个人资格申请教育版： 如果是学生、教师或其他教育工作者，可能符合资格以大幅折扣的价格购买Adobe Creative Cloud的学生或教职员工版本。确保通过学校或教育机构验证身份后订购。 关注限时特惠和节日销售： 留意黑色星期五、网络星期一或者其他大型购物节期间，Adobe可能会推出特别折扣供消费者选购正版产品。 利用竞争对手的产品和服务： 有时其他公司会针对转投其平台的新客户提供迁移奖励或是更便宜的计划选项。例如，某些设计工具如Canva Pro, Affinity系列（Affinity Designer/Photo/Publisher），以及CorelDRAW Graphics Suite等都能成为成本效益更高的选择，并且偶尔也会有自己的打折活动。 参与社区论坛及社交媒体讨论： 加入相关的在线社群，比如Reddit上的r/adobe或LinkedIn群组，从中获取最新的优惠信息和其他用户的推荐经验分享。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BILLY BILLY

你的奖励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值