Searching for MobileNetV3笔记

Searching for MobileNetV3笔记

hexo?:https://licharyuan.github.io/2019/05/13/MobileNetV3/

arxiv

本笔记将回顾V1，V2的知识以及介绍V3的特点。

• 知识回顾
  • MobileNet V1
  • MobileNet V2
• MobileNetV3
  • 相关技术
  • 文章

知识回顾

MobileNet V1

提出了depthwise的卷积结构加速CNN的训练，depthwise的操作就是将通道全部独立开做卷积期间通道数不变，可以理解为Group=In_channels的Group Conv；然后再用1x1的卷积实现通道之间的融合。这种方式会比直接卷积省去很多参数。

MobileNet V2

为了解决v1一些卷积核训废的问题，原因为当通道数比较少的时候，ReLU激活函数会造成较多信息的丢失（具体去看文章的论证）。于是提出了linear bottleneck layer和inverted residual block，[Input]->[1x1 conv 增加通道]-> [ReLU6]->[depthwise conv]->[ReLU6]->[1x1 conv降低通道数]->[Linear]+[Input]不再接ReLU层，这里作者应该做了很多对比实验才得出了比较优的结构。

MobileN