shuffleNetV2

ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design

Why

ResNet,DenseNet等网络已经把分类问题的精度推到一个很高的水平,而很多轻量级网络MobleNet, XceptionNet和ShuffleNet则在不牺牲太多精度的前提下,降低网络计算量,令深度学习网络可以运行在一些资源受限的平台上,比如ARM,FPGA。本文发现轻量级网络设计的指标FLOPs只能间接的描述网络复杂度,因为网路运行速度除了和浮点操作多少外,还和内存访问(MAC)和指令可并行度有关系,本文建议使用这些直接描述性能的指标指导轻量级网络的设计,另外要在多个平台下测试网络性能。下图是shuffleNetV2和其他几个轻量级网络在GPU和ARM两个平台上的对比,speed-accuracy都是state-of-art了
speed-accuracy

How

文中提出设计网络的四个指导原则

  1. 卷积层的输入通道数和输出通道数一致时,MAC最小,有利于提高速度
    G1

  2. 分组卷积不利于速度提升,卷积分组不易过大
    G2

  3. 网络分支/多个卷积穿行不利于并行化
    G3

  4. element-wise操作虽然FLOP很小,但是MAC很大,不利于速度提升
    element-wise包括Add/Relu/ResNet的short-cut等
    G4

最终基于shuffleNet,遵守上述四个原则设计了shuffleNetV2,以下是Block building
buildBlock

  • element-wise操作被channel-split和concat替换
  • 分组卷积GConv被取消(也是因为有了channel-split)
  • depthwise convolution保留

shuffleNetV2网络结构
shuffleNetV2

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值