ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices的理解

【轻量级网络系列二】ShuffleNet:An Extremely Efficient Convolutional Neural Network for Mobile Devices论文总结 前言 ShuffleNet是被设计来手机设备上(这种算力比较有限,一般在10-150MFLOPs左右)。这里的FLOPs:全称floating point operations per second,意指每秒浮点运算次数,可以大致理解为算力评估的一个标准。ShuffleNet利用了pointwise group convolution and channel shuffle操作来达到减小计算量的效果。 现在的CNN模型所取到很好的结果上,FLOPs往往达到十亿次,本论文探求一种在保持FLOPs在10-. 阅读详情

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices的理解

                      </p>
                    </div>
                  <div class="skin_detail" id="article_content">
                    <div class="markdown_views"><p></p><div class="toc"><div class="toc">

前沿

随着近几年AI算法爆发式的发展,越来越多的运用场景出现了。为了让更多的算法落地,如何做移动端的模型加速和模型压缩成了近期的一个热点。比如前一段做参数量化的BinaryNet、Google出的GoogleNet,到现在Face++出的ShuffleNet。这个趋势应该还会继续。模型压缩,一方面需要保证模型的精度、另外一方面需要减少模型的存储量。这次我就主要解释一下ShuffleNet,它的网络结构以及它的实验结果。

ShuffleNet主要是在计算方法上做了创新,提出了pointwise group convolution和channel shuffle两个操作来减少计算量,使得计算量在10~150 MFLOPS次操作。该文作者训练了ImageNet和MS COCO这两个训练集,说明该方法还不错,可以在大数据集上进行训练,有较高的可用性。相比于MobileNet在ImageNet top1上高了6.7%。然后在ARM平台上,计算性能上是AlexNet(5层卷机,3层全连接)的13倍,需要40 MFLOPS的计算量。看来该论文主要是做模型加速而不是走压缩的路线,毕竟BianryNet出来了,都是1bit了。再做压缩要么改网络要么做去除网络一部分,这些改进竞争也是极大的。之前不少人针对现成的网络已经做了很多优化,做模型参数的压缩、参数浮点量化、pruning(去掉一些不重要的activation,值为0。比如activation小于某个阈值就认为对整个网络没有印象。后来很多论文开始把bias去掉了)那我感觉这篇论文是在计算结构和内存设计上进行的优化,在这方面的设计,其实有很多人做了不少工作。后面找个时间我总结这方面的东西。这篇论文相比于ResNext和Xception的优势在于,ShuffleNet更适合在很小的卷积核的网络比如1x1这样的网络。总体上这篇论文还是有不少可圈可点的工作。

加速方法

Channel Shuffle for Group Convolutions

针对ResneXt和Xception的不足,ShuffleNet在pointwise convolution(也就是1x1的kernel的卷积)进行了优化。ResneXt和Xception是在3x3的kernel上做了group convolution,但是没有在1x1的网络做,结果大部分的乘法就出现在了1x1(占93.4%)同时大量的运算导致计算受局限,进而精度会损失。

为了提高pointwise convolution的速度,最简单的方法就是在pointwise convolution采用group convolution,如下图中的一所示。但是这样会有问题,主要是pointwise convolution在进行group convolution以后,很容易出现欠拟合,导致精度下降。为了解决这个问题,采用了通道间混叠的方法,其实你看LeNet-5的做法就是这样的。采用的就是输入的feature map选取部分隐射到输出的feature map上。这样的通道交错的话,就可以使得输出的激励得到全局网络的影响而不是局部的影响。如下图中的b。但是这样会有问题,就是这么做的话,网络是全连接,就是我们计算输出的时候,我们要把整个input feature导入,这是很大的内存,频繁的内存交互,是很消耗时间的。为了解决这个全连接的问题,进行一个shuffle(借鉴了AlexNet训练时候的方法)把输入的feature map实现进行排列,然后计算输出的feature map的时候,只要导入需要的输入的feature map而不是进行全局索引。大大提高了cache hit率。速度大大提高。

论文中提到了这种方法还适合group 不一样多的时候,并且shuffle是可微的,所以可以进行端到端的训练(具体怎么计算不太清楚了)

这里写图片描述

ShuffleNet单元

这个单元设计大的基础还是ResNet-18的,下图中的a。ShuffleNet的改进就是在做完第一个1x1的Group Convolution以后,增加了一个shuffle单元。接着是3x3的depthwise convolution的算法。后面还有一个1x1的卷积是为了把feature map size从3x3恢复为1x1。接着是在BN和ReLU方面也如下图做了改进。如果是stride大于1的话,那么增加了一个average pooling和改变了element wise add为通道连接(concatenation我理解的是两个数字连在一起)

这里写图片描述

注:
group convolution:指的是计算feature map的时候,feature map分在不同的地方计算,比如两个GPU上。然后这两块GPU上的feature map分成支路做卷积,最后汇合(其实就是AlexNet的做法,AlexNet也是局限于GPU的性能)

Depthwise separable convolution:是在Inception层进行卷积分割。Xinception最早提出,然后MobileNet也采用了这种做法。

网络结构

整个网络结构如下:
这里写图片描述

每个阶段开始的stride都是2,后面一个是1。输出的channel都是越来越大,其实整个网络感觉和ResNet差别不大。

另外为了比较不同的channel对accuracy的影响,这里又有一个scale factor,sx表示channel数目是1x的s倍。

这里写图片描述

所以理论上,sx的计算量是1x的s2。

实验对比

参数设置上weight decay是4e-5;另外由于小网络容易欠拟合,所以做了微小的图片augmentation工作。图片的输入是256x256中的224x224的中间区域。

pointwise group convolution这部分对模型准确度的影响:主要是g和?x对其精度的影响。g越大,准确度先变大后减少。新的arch2对模型确实有提高精度。
这里写图片描述

channel shuffle的作用:与没有shuffle的网络进行精读对比,发现进行shuffle的精度更高。
这里写图片描述

比较计算单元的对classification的准确度的影响:将ShuffleNet的Stage2~4换成别的计算单元再计算需要的计算量。在同样的计算量情况下,ShuffleNet有最高的准确度。
这里写图片描述

ShuffleNet和MobileNets、PVANET、SqueezeNet进行对比:
这里写图片描述

这里写图片描述

对于ShuffleNet在迁移学习方面的方面的性能,用的是MS COCO做训练和测试。做的是目标检测~ 测试指标是mAP,就是检测的重叠面积。ShuffleNet 2x更加高,和MobileNet接近的计算量。
这里写图片描述

在ARM平台上,做的是classification,该论文对不同分辨率的图片、不同的模型进行测试所需的操作数量、时间和精度。处理224x224的图片只要15.2 ms,在嵌入式平台这个结果已经非常优秀。

这里写图片描述

Github实现

可以跑一跑,在自己的平台做些测试,能够得到更加准确的数据。

【1】实现一:https://github.com/HolmesShuan/ShuffleNet-An-Extremely-Efficient-CNN-for-Mobile-Devices-Caffe-Reimplementation
【2】实现二:https://github.com/camel007/Caffe-ShuffleNet

论文下载:https://arxiv.org/pdf/1707.01083.pdf
额外的解说资料:
【3】http://baijiahao.baidu.com/s?id=1572512027246277
【4】https://www.zhihu.com/question/62243686

转载请注明出处:http://blog.youkuaiyun.com/c602273091/article/details/75137878

【Paper Reading】 不过欧洲的会有一个不好,就是他们的人通常英语口音很重,有些人甚至不太会说英文,所以开会和交流的时候,稍微有些费劲。《International Comference on Computer Vision》,正如很多和他一样的名字的会议一行,这样最朴实的名字的会议,通常也是这方面最nb的会议。通常比较 junior 的审稿人会更严厉一些,发现一些小问题就会倾向于给低分,而 senior 的审稿人反倒宽松一些,如果觉得论文确有可取之处,通常不会太计较一些小问题。是一个关于机器学习和计算神经科学的国际会议。 阅读详情

相关推荐

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

Abstract 我们介绍了一种名为ShuffleNet的极其计算高效的CNN架构,该架构专为计算能力非常有限的移动设备而设计。新架构采用了两种新的操作,逐点组卷积和通道切换,大大降低了计算成本,同时保持了准确性。ImageNet分类和MS COCO物体检测的实验证明了ShuffleNet优于其他结构的优越性能,例如: 在40MFLOP的计算预算下,其在ImageNet分类任务中比MobileN...

LYKymy的博客 872

【论文阅读】ShuffleNet——ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 文章中提出了一个非常有效的Architecture——ShuffleNet,主要使用两种操作,分组PW卷积和通道重排,在保证准确率的情况下降低了计算代价 之前提出的模型,Xception和ResNeXt因为其中大量的Pw操作使得计算代价挺高,无法实现小型模型

qq_41488595的博客 4104

An Extremely Efficient Convolutional Neural Network for Mobile Devices

Abstract We introduce an extremely computation-efficient CNN architecture named ShuffleNet, which is designed specially for mobile devices with very limited computing power (e.g., 10-150 MFLOPs). The new architecture utilizes two new operations, pointwise group convolution and channel shuf- fle, to greatly reduce computation cost while maintaining accuracy. Experiments on ImageNet classification and MS COCO object detection demonstrate the superior perfor- mance of ShuffleNet over other structures, e.g. lower top-1 error (absolute 7.8%) than recent MobileNet [12] on Ima- geNet classification task, under the computation budget of 40 MFLOPs. On an ARM-based mobile device, ShuffleNet achieves ∼13× actual speedup over AlexNet while main- taining comparable accuracy.

【读点论文】ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices,规则分组,有序混洗

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices Abstract 本文介绍了一种称为ShuffleNet的计算效率极高的CNN架构,它是专门为计算能力非常有限(例如10-150 MFLOPs)的移动设备设计的。新架构利用两种新操作,逐点组卷积和信道混洗,在保持精度的同时大大降低了计算成本。 在ImageNet分类和MS COCO对象检测上的实验证明了ShuffleNet优于其他结构的性能,

白水空空 1407

kettle写doris操作

文件在目录:doris-master\extension\kettle\assemblies\plugin\target\doris-stream-loader-plugins-9.4.0.0-343.zip。官方提供了doris stream load插件,下载源码编译后放到kettle的插件目录即可使用。地址:https://github.com/apache/doris.git。注意:需要doris插件或者kettle转换生成模板的私聊博主。使用PDmaner同步业务库生成建表语句。

weixin_44449054的博客 3033

常微分方程 (ODE) 和 随机微分方程 (SDE)

常微分方程(Ordinary Differential Equations, ODE)和随机微分方程(Stochastic Differential Equations, SDE)是数学中描述系统动态行为的重要工具。它们有一些相似之处,但在处理随机性方面存在显著差异。

weixin_39699362的博客 4384

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices--Xiangyu Zhang

要解决的问题:深度可分离卷积等使用1x1卷积的方法能大大降低计算量,但是1x1卷积如下图左,也需要大量的计算,而且一般会大量使用到1x1卷积,所以如果能改善1x1卷积的计算量问题,就可以进一步提高轻量化。 解决方式:对于1x1卷积使用分组卷积实现,如上图右所示,这样就能够大大降低计算量。但是这也有一个缺点,就是分组后只能在组内卷积交流,比如红绿黄三个分组,组间没有信息交流,这回降低网络表征能力。所以本文提出一个新的操作通道混洗(Channel Shuffle):将每个组再次分组并分别

xu.hyj 1814

【AI知识点】启发式算法(Heuristic Algorithms)

启发式算法(Heuristic Algorithms) 是一种基于经验、直觉和局部优化的求解问题的算法,尤其适用于解决计算复杂度高、规模庞大的问题。它们通过简化问题、局部搜索和快速近似,提供了一种在短时间内获得“足够好”解的途径。虽然启发式算法无法保证全局最优解,但它们在实际应用中广泛使用,特别是在优化问题、任务调度和机器学习等领域。

AI完全体 3034

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices(2017)

ShuffleNet,轻量级NN

qihshe的博客 359

西门子S7-1200PLC与FANUC机器人进行PROFINET IO通信的具体方法和步骤详解

西门子S7-1200PLC与FANUC机器人进行PROFINET IO通信的具体方法和步骤详解

Robot_PLC_HMI_Automation 1万+

[系统安全] 三十二.恶意代码检测(2)常用技术详解及总结

前文从产业界和学术界分别详细讲解恶意代码攻击溯源的相关知识,在学术界方面,用类似于综述来介绍攻击追踪溯源的不同方法;在产业界方面,主要参考李东宏老师从企业恶意样本分析的角度介绍溯源工作。这篇文章将详细总结恶意代码检测技术,包括恶意代码检测的对象和策略、特征值检测技术、校验和检测技术、启发式扫描技术、虚拟机检测技术和主动防御技术。希望这篇文章对您有所帮助,如果文章中存在错误、理解不到位或侵权的地方,还请告知作者与海涵。且看且珍惜,加油~

杨秀璋的专栏 1万+

【论文学习】ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

原文链接:https://arxiv.org/abs/1707.01083 1. Abstract 作者介绍了一种运算极其高效的CNN架构,ShuffleNet。ShuffleNet主要应用在计算能力有限的移动设备上(如10-150MFLOPs)。ShuffleNet主要采用两种新的操作:逐点组卷积(pointwise group convolution)和通道重组(channel shu...

斯丢劈德的博客 2357

【计算机视觉】语义分割实战:FCN、U-Net与DeepLab系列详解

语义分割实战:FCN、U-Net与DeepLab系列详解,人工智能、大模型、AI深度学习在计算机视觉领域取得了令人瞩目的进展,语义分割作为计算机视觉领域的关键任务,旨在将图像中的每个像素都分配到特定的类别中,实现对图像内容的精细理解。与目标检测关注物体的类别与位置不同,语义分割能够对场景中的所有元素进行像素级别的分类,这在自动驾驶、医学图像分析、遥感图像解译等众多领域都有着至关重要的应用。例如,在自动驾驶中,准确的语义分割可以帮助车辆识别道路、行人、交通标志等,为安全行驶提供决策依据;在医学图像分析中……

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 9万+

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices论文学习

Abstract 作者在本文中提出了一个极其高效的CNN结构,叫做 ShuffleNet,它特别为算力有限的移动端设备设计(比如10−150MFLOPs10-150MFLOPs10−150MFLOPs)。新的架构使用了2个新的操作,即 pointwise group 卷积和 channel shuffle,在保持准确率的同时极大地降低了计算量。在 ImageNet 的分类任务和 MS COCO 目...

calvinpaean的博客 496

AutoSAR系列讲解(入门篇)2.1-AppL概述

该章主要是讲解SWC是如何在ECU中分布的

雪云飞星的博客 4万+

无人机威胁检测(Hostile Drone Detection)——基于YOLOv10与UI界面的实现

Anti-UAV数据集由多种场景下的无人机视频与图片组成,包含无人机目标的多样化姿态、背景、光照变化,专门用于反无人机检测研究。YOLO(You Only Look Once)系列是当前流行的实时目标检测算法,具有速度快、精度高的特点。网络结构优化:更深更轻的主干网络,提升特征提取能力。检测头改进:多尺度特征融合,更好检测小型目标如无人机。训练技巧:使用自动混合精度训练(AMP)、数据增强、标签平滑等技术。

YOLO 232

【轻量化网络系列(4)】ShuffleNetV1论文超详细解读(翻译 +学习笔记+代码实现)

ShuffleNetV1论文《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》翻译+超详细精读,包含代码实现

路人贾的博客 8537

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

卷积压缩算法--ShuffleNetwork

ShuffleNetwork ShuffleNetwork:An Extremely Efficient Convolutional Neural Network for  Mobile Devices论文地址:ShuffleNetwork摘要         介绍了一个名字为ShuffleNet计算效率极快的CNN框架,该框架设计用于计算能力有限的移动设备。主要是使用了两种操作:一个是point...

remanented的博客 3470

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

channel shuffle文章对CNN进行改进,采用pointwise convolution 和 channel shuffle,保持精度的同时,减少了计算量,加快了计算速度.在ImageNet classification and MS COCO上的实验上取得了比top1,即mobile net,错误率减小6.7%.相比AlexNet,计算速度提高13倍,同时精度基本不变.CNN网络中,为了

u011961856的专栏 957

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices (翻译)

ShuffleNet:一种用于移动设备的高效卷积神经网络 Xiangyu Zhang ∗ Xinyu Zhou ∗ Mengxiao Lin Jian Sun Megvii Inc (Face++) { zhangxiangyu,zxy,linmengxiao,sunjian } @megvii.com 摘要 我们介绍了一种计算效率极高的CNN体系结构,名为ShuffleNet,它专门为计算能力非常有限的移动设备(例如10-150 MFLOPs)设计。新的体系结构利用了两种新的操作,逐点组卷积和信道shu

myl1992的专栏 1186

轻量模型简介

轻量模型介绍

qq_41533576 5277

深度学习中的 20 种卷积

大多数的卷积结构都是在精度-参数量-计算量这三个维度上进行不同的侧重取舍。两个矛盾:追求计算效率的卷积结构由于计算预算较低,无论是限制卷积层的深度,还是限制了卷积的宽度,不可避免地会导致性能的下降。追求精度提升的卷积结构由于其引入过多的卷积运算或其他额外的操作(如注意力),势必会增大内存或计算开销,从而影响模型的容量和整体的训练或推理速度。一个设计的原则就是我们如何在不增加额外参数量的情况下,尽可能利用有效的信息或者从降低冗余空间信息的角度出发,来提高模型的计算效率和卷积提取特征的能力。

人无远虑,必有近忧 2万+

常用的卷积神经网络-1-卷积和通道

文章目录CNN1. CNN基本结构2. 卷积和通道2.1 分组卷积(Group Convolution)2.2 Convolution VS Group Convolution2.3 Group Convolution的用途2.4 Depthwise Convolution && Pointwise Convolution && Depthwise Separable Convolution2.5 Group Convolution 和 Depthwise + Pointwi

u012744245的博客 4334

组卷积(Groupwise Convolution)和逐点卷积(Pointwise Convolution)的区别联系

组卷积是一种将输入特征图分成多个组(groups),然后在每个组内进行卷积操作的方法。每个组的卷积核只与对应组的输入特征图进行卷积,不同组之间不进行信息交换。

hello! 1791

Paper Reading: ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices(arXiv:1707.01083v2) Motivation 专为计算能力非常有限(例如10-150 MFLOP)的移动设备设计的模型,且弥补了之前Group convolution的缺点 Architecture Channel Shuffle for Group Convolutions 假设卷积层具有g组,其输出具有g×n个通道; 首

yzhang的博客 292
上一篇: OpenCL: 从零开始学习OpenCL开发
下一篇: 弱酸(中强酸)的pH值计算
sir_chen
博客等级 码龄18年 46粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值