shuffleNetV2

最新推荐文章于 2023-03-17 20:20:44 发布
最新推荐文章于 2023-03-17 20:20:44 发布
阅读量1.4k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习 文献阅读 文章标签： SOA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/z0n1l2/article/details/83962261

ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design

Why

ResNet，DenseNet等网络已经把分类问题的精度推到一个很高的水平，而很多轻量级网络MobleNet， XceptionNet和ShuffleNet则在不牺牲太多精度的前提下，降低网络计算量，令深度学习网络可以运行在一些资源受限的平台上，比如ARM，FPGA。本文发现轻量级网络设计的指标FLOPs只能间接的描述网络复杂度，因为网路运行速度除了和浮点操作多少外，还和内存访问（MAC）和指令可并行度有关系，本文建议使用这些直接描述性能的指标指导轻量级网络的设计，另外要在多个平台下测试网络性能。下图是shuffleNetV2和其他几个轻量级网络在GPU和ARM两个平台上的对比，speed-accuracy都是state-of-art了
speed-accuracy

How

文中提出设计网络的四个指导原则

  1. 卷积层的输入通道数和输出通道数一致时，MAC最小，有利于提高速度
    G1

  2. 分组卷积不利于速度提升，卷积分组不易过大
    G2

  3. 网络分支/多个卷积穿行不利于并行化
    G3

  4. element-wise操作虽然FLOP很小，但是MAC很大，不利于速度提升
    element-wise包括Add/Relu/ResNet的short-cut等
    G4

最终基于shuffleNet，遵守上述四个原则设计了shuffleNetV2，以下是Block building
buildBlock

  • element-wise操作被channel-split和concat替换
  • 分组卷积GConv被取消（也是因为有了channel-split）
  • depthwise convolution保留

shuffleNetV2网络结构
shuffleNetV2

YOLOv8 更换主干网络之 ShuffleNetv2 详解
走向CTO的路上...
05-29 1769
ShuffleNetv2 是一种轻量级高效的卷积神经网络架构，旨在为图像识别任务提供更高的性能和效率。它通过使用通道洗牌 (Channel Shuffling) 和分组卷积 (Group Convolution) 等技术来实现，在保持精度的同时显著降低了模型的计算量和参数量。
YOLOv8 改进：主干网络替换为 ShuffleNetV2
最新发布
走向CTO的路上...
04-09 802
YOLO 是一种单阶段目标检测算法，可以在一张图片上同时预测多个边界框和类别概率。由于其优秀的实时性，在自动驾驶、监控等需要实时处理的场景中应用广泛。ShuffleNetV2 是一种轻量级神经网络架构，专为移动和嵌入式设备设计。通过参数效率和 FLOPs（浮点运算次数）的平衡，实现高效的卷积操作和特征表达能力。将 YOLOv8 的主干网络替换为 ShuffleNetV2 是一个有趣而富有潜力的改进方向，通过这种方式可以有效地减少资源消耗，同时保持相对较高的检测性能。
shuffleNet v2
小菜鸟的AI之路
08-17 7541
论文名称：ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design 论文地址：https://arxiv.org/abs/1807.11164 目前，CNN网络在图像识别领域大放异彩，从最初的AlexNet到后面的GoogLeNet,ResNet,识别精度越来越高，但是除了精度之外，模型的计算复杂度也越来...
shuffleNet V2
文尹习习的博客
08-07 5667
论文出发点：旨在设计一个轻量级但是保证精度、速度的深度网络 分析当前： 1、直接用FLOP来衡量算力，不够准确。因为不同的网路，即使参数量相同（模型大小相同），但是模型速度还是存在差异。改为直接用速度（speed）来衡量 2、直接影响速度的因素，首先MAC，比如分组卷积，需要强大的算力对设备GPU是个挑战；其次并行度。 因此，设计网络需要考虑：speed和platform 同时提出4条设...
ShuffleNet V2
weixin_41172694的博客
01-07 1240
版权声明：本文为博主原创文章，未经博主允许不得转载 论文：Practical Guidelines for Efficient CNN Architecture Design 链接：https://arxiv.org/abs/1807.11164 第三方代码： ECCV2018关于模型加速和压缩的文章   论文详解： 作者在摘要和介绍里提到目前网络结构是根据computation ...
ShuffleNetV2
qq_16130715的博客
01-23 479
论文地址 摘要  近年来，神经网络的结构设计极大地被间接度量计算复杂度（如FLOPs）导向，直接度量速度还会被其它因素诸如内存存取消耗和平台特性所影响。因此，我们的工作打算计算目标平台的直接度量，而不仅仅考虑间接度量FLOPs。基于一系列的限制性实验，我们的工作获得了一些有效的网络设计的实用指南。相应地，我们提出了ShuffleNet...
轻量级网络——ShuffleNetV2
Clichong
06-24 3万+
回顾：轻量级网络——ShuffleNetV1 paper链接：ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design 关键内容： ShuffleNetV2中提出了一个关键点，之前的轻量级网络都是通过计算网络复杂度的一个间接度量，即FLOPs为指导。通过计算浮点运算量来描述轻量级网络的快慢。但是从来不直接考虑运行的速度。在移动设备中的运行速度不仅仅需要考虑FLOPs，还需要考虑其他的因素，比如内存访问成本(memory
《主干网络篇 - YOLOv8更换主干网络之ShuffleNetV2（包括完整代码+添加步骤+网络结构图）》完整源码
03-16
内容专栏：《YOLOv8：从入门到实战》 内容介绍：《主干网络篇 | YOLOv8更换主干网络之ShuffleNetV2（包括完整代码+添加步骤+网络结构图）》完整源码 适用人群：初入行的人工智能学习者、YOLOv8算法初入门的学生等。
基于改进的ShufflenetV2图像分类源码
09-27
在本文中，我们将深入探讨基于改进的ShuffleNetV2模型在图像分类任务中的应用，以及如何使用Python和PyTorch框架实现这一方法。ShuffleNetV2是一种高效的深度学习模型，尤其适合资源有限的环境，如移动设备或嵌入式...
轻量化ShuffleNetV2+MobileNet-V3融合模型在农业病虫害识别中的嵌入式部署.pdf
02-21
该文档【轻量化ShuffleNetV2+MobileNet-V3融合模型在农业病虫害识别中的嵌入式部署】共计 41 页，文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表...
【论文】旷视科技提出的新型轻量架构ShuffleNet V2
07-30
旷视科技提出针对移动端深度学习的第二代卷积神经网络 ShuffleNet V2。论文已被ECCV 2018收录
shuffleNetV2网络
09-10
支持pytorch，支持caffe ，ShuffleNet_V2网络训练用 ；
ShuffleNet v2论文笔记
nokio0034的专栏
07-30 678
旷视科技近日公开了一篇CNN结构设计优化的文章（已被ECCV2018收录），分享下自己的阅读笔记。 文章提出：FLOPs虽然可以反映计算复杂度，但不能体现计算的速度和延迟(latency)，最直观的例子就是MobileNet v2和NASNET-A具有相当的FLOPs，但前者的计算速度更快。作者分析形成差异的原因有两点： a.MAC(Meomry Access Cost)即内存访问代价的不同 ...
ShuffleNet v2算法笔记
热门推荐
AI之路
07-31 3万+
论文：ShuffleNet V2: Practical Guidelines for Ecient CNN Architecture Design 论文链接：https://pan.baidu.com/s/1so7aD3hLKO-0PB8h4HWliw 这篇是ECCV2018关于模型加速和压缩的文章，是之前ShuffleNet的升级版。这篇文章的观点和实验都比较新颖，看完还是有不少收获的，特来...
轻量级网络：ShuffleNet V2
qq_38156104的博客
07-22 907
ShuffleNet V2受启发于ShuffleNet V1，但并不局限于此，作者为轻量级网络的设计提出了一个新的直接指标和衡量标准，并通过一系列实验，对未来轻量级网络模型的设计提供了四点重要的思路和指导方针，最后在ShuffleNet V1的基础上进行了改进，结合四点指导方针，完成了ShuffleNet V2的构建。 Motivation 作者首先分析了现有的很多轻量级网络，例如MobileNet V2，ShuffleNet V1等，认为这些网络模型在设计和评估测试阶段，过于迷信FLOPs（每秒浮.
轻量化网络：ShuffleNet V2
人工智能技术学习与分享
08-04 3313
Guideline 1-4: ShuffleNet V2 疑问： ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design 由Face++及清华的研究者共同发表，已被ECCV-2018收录 论文下载地址：https://pan.baidu.com/s/1so7aD3hLKO-0PB...
ShuffleNet v2
xiaochengJF的博客
11-08 300
（ECCV 2018）
轻量化网络：ShuffleNet v2解析
zhw864680355的博客
02-18 7563
原文： ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design 论文链接：https://arxiv.org/abs/1807.11164 开源代码增加自定义layer（caffe版本）：https://github.com/anlongstory/ShuffleNet_V2-caffe 开源代码（t...
ShuffleNetV2-轻量级神经网络
m0_47005029的博客
03-17 812
目前衡量模型复杂度的一个通用指标是FLOPs，具体指的是multiply-add数量，但是这却是一个间接指标，只是一个估计的指标，因为它不完全等同于速度或延迟（这是我们直接观察的指标），速度还取决于其他的因素，例如存储器存取成本(memory access cost)和平台特性所以本文就提出了我们应该使用更直接的效率度量方法（如速度和延迟）。
shufflenetv2
12-28
### ShuffleNetV2 算法原理 ShuffleNetV2 是一种轻量级卷积神经网络架构，旨在解决移动设备上的高效图像分类问题。该模型通过引入几个核心组件来优化计算效率和提升性能： - **通道洗牌 (Channel Shuffling)**：这是 ShuffleNetV2 的核心技术之一，用于打破特征图之间因分组卷积而产生的独立性，从而增强不同通道间的交互作用并改善信息流[^1]。 - **逐点分组卷积 (Pointwise Group Convolutions)**：为了减少参数数目以及降低运算复杂度，ShuffleNetV2 利用了这种特殊的卷积形式，在保持较高精度的同时显著减少了所需的浮点数乘加次数。 - **恒等残差连接 (Identity Residual Connections)**：类似于经典的 ResNet 结构中的跳跃链接机制，这些连接有助于缓解深层网络训练过程中的梯度消失现象，并促进更有效的反向传播路径形成。 ### 实现方式 具体到实现层面，ShuffleNetV2 主要遵循如下流程来进行构建与部署： 1. 对输入数据执行 `channel_shuffle` 操作以重新排列各层输出的通道顺序； 2. 应用 `group_conv` 来替代标准卷积操作，以此达到降维目的； 3. 进行复合缩放处理——即调整网络结构中深度、宽度及分辨率三个维度的比例因子，使得整体规模适应特定硬件资源约束条件下的最优配置需求[^2]； 4. 组合以上要素搭建完整的 ShuffleNetV2 架构，并针对目标识别任务微调超参直至获得满意的结果。 以下是 Python 中定义的一个简化版 ShuffleNetV2 卷积模块的例子： ```python import torch.nn as nn class ShuffleUnit(nn.Module): def __init__(self, in_channels, out_channels, stride=1): super(ShuffleUnit, self).__init__() # 定义基本组成部分 self.conv1 = nn.Conv2d(in_channels=in_channels, out_channels=out_channels//4, kernel_size=1) self.bn1 = nn.BatchNorm2d(out_channels//4) self.depthwise_conv = nn.Conv2d( in_channels=out_channels//4, out_channels=out_channels//4, groups=out_channels//4, kernel_size=3, padding=1, stride=stride ) self.bn2 = nn.BatchNorm2d(out_channels//4) self.conv2 = nn.Conv2d(in_channels=out_channels//4, out_channels=out_channels, kernel_size=1) self.bn3 = nn.BatchNorm2d(out_channels) self.relu = nn.ReLU(inplace=True) def forward(self, x): residual = x output = self.conv1(x) output = self.bn1(output) output = self.relu(output) output = self.depthwise_conv(output) output = self.bn2(output) output = self.conv2(output) output = self.bn3(output) if hasattr(self, 'downsample'): residual = self.downsample(residual) return self.relu(residual + output) ``` ### 应用场景 由于其高效的特性，ShuffleNetV2 广泛应用于各种移动端视觉应用领域内，特别是在那些对实时性和功耗敏感的任务上表现出色。例如但不限于： - 移动端图片分类服务； - 手机摄像头内置的人脸检测功能； - AR/VR 设备中的环境感知算法支持； - 物联网边缘节点处的小型物体追踪系统开发等场合均可见到此框架的身影[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值