深度学习经典网络: MobileNet系列网络(MobileNet v2)

MobileNet v2:https://arxiv.org/abs/1801.04381

概述

MobileNetV2 以 MobileNetV1 的理念为基础，使用深度可分离卷积作为高效构建块。此外，V2 在架构中引入了两项新功能：

• Depth-wise convolution之前多了一个1*1的“扩张”层，目的是为了提升通道数，获得更多特征；
• 在pointwise convolution不采用Relu，而是Linear，目的是防止Relu破坏特征。

借鉴了ResNet, 在步长为1的深度可分离卷积模块中加入了shortcut，但是直接把depth-wise separable convolution应用到 residual block中，会碰到如下问题：

• DWConv layer层提取得到的特征受限于输入的通道数，若是采用以往的residual block，先“压缩”，再卷积提特征，那么DWConv layer可提取得特征就太少了，因此一开始不“压缩”，MobileNetV2反其道而行，一开始先“扩张”，本文实验“扩张”倍数为6。 通常residual block里面是 “压缩”→“卷积提特征”→“扩张”，MobileNetV2就变成了 “扩张”→“卷积提特征”→ “压缩”，因此称为 Inverted residuals
• 当采用“扩张”→“卷积提特征”→ “压缩”时，在“压缩”之后会碰到一个问题，那就是Relu会破坏特征。为什么这里的Relu会破坏特征呢？这得从