计算机视觉之MobileNetV3

1 MobileNetV3介绍

1.1 MobileNet概述

MobileNetV3 是由 google 团队在 2019 年提出的轻量化网络模型，传统的卷积神经网络，内容需求大，运算量大，无法再移动设备以及嵌入式设备上运行，为了解决这一问题，MobileNet网络应运而生。MobileNetV3在移动端图像分类、目标检测、语义分割等任务上均取得了优秀的表现。MobileNetV3采用了很多新的技术，包括针对通道注意力的Squeeze-and-Excitation模块、NAS搜索方法等，这些方法都有利于进一步提升网络的性能。

MobileNetV3论文地址：原文链接        

1.2 MobileNet发展史

作为轻量化模型中的经典网络，MobileNet（出自论文MobileNets：Efficient Convolutional Neural Networks for Mobile Vision Applications）自诞生就被广泛应用于工业界。

MobileNet模型是Google针对手机等嵌入式设备提出的一种轻量化深度神经网络，使用的核心思想是深度可分离卷积(Depthwise Separable Convolution)。MobileNet系列中主要包括MobileNet V1、MobileNet V2、MobileNet V3。

MobileNet V1

MobileNet V1是由Google在2016年提出的，其主要创新点在于深度卷积(Depthwise Convolution)，而整个网络实际上也是深度可分离模块的堆叠。

深度可分离卷积是MobileNet的基本单元，其实这种结构之前已经在Inception模型中使用了。深度可分离卷积其实是一种可分解卷积操作，该操作也可以分解为两个更小的卷积操作：深度卷积和逐点卷积(Pointwise Convolution)，如图所示。

深度卷积与标准卷积不同，对于标准卷积，其卷积核用在所有输入通道(Input Channel)上，而深度卷积针对每个输入通道采用不同的卷积核，即一个卷积核对应一个输入通道，所以说深度卷积是逐通道的操作。

而逐点卷积其实就是普通的1×1卷积。对于深度可分离卷积，首先采用深度卷积对不同的输入通道分别进行卷积，然后采用逐点卷积将上面的输出进行结合。这样做的整体效果与一个标准卷积是差不多的，但是会大大减少计算量和模型参数量。

MobileNet V2

MobileNet V1，存在以下两个问题。

1、MobileNet V1的结构过于简单，没有复用图像特征，即没有Concat或Add等操作进行特征融合，而后续一系列的ResNet、DenseNet等结构已经证明复用图像特征的有效性。

2、深度可分离卷积问题。在处理低维数据时，ReLU激活函数会造成信息的丢失。深度可分离卷积由于本身的计算特性决定了它本身没有改变通道数的能力，上一层给它多少通道，它就只能输出多少通道。因此，如果上一层给它的通道很少，那么它也只能使用在低维空间提取到的一些Low-Level特征，这可能会带来性能问题。

针对这两个问题，MobileNet V1的提出者对其进行了改进和再设计。

对于深度可分离卷积中的第2个激活函数，在MobileNet V2中修改为“线性激活”，论文中称其为“Linear Bottleneck”。论文作者认为ReLU激活函数在高维空间能够有效提升MobileNet V2的非线性；而在低维空间则会破坏特征、损失特征的信息，性能可能并不如线性激活函数好。

如图，对于结构设计问题，MobileNet V2在MobileNet V1的Block==＞卷积模块中的深度可分离卷积前增加了一个逐点卷积（1×1卷积+BN+ReLU6），专门用来提升特征的维度，这样便可以得到High-Level特征，从而提升模型的性能。

MobileNet V2同样借鉴了ResNet，采用了残差结构，将输出与输入相加，但是ResNet中的残差结构是先降维卷积再升维，而MobileNet V2则是先升维卷积再降维。

ResNet的残差结构更像一个沙漏，而MobileNet V2中的残差结构则更像是一个纺锤，两者刚好相反。因此论文作者将MobileNet V2的结构称为“Inverted Residual Block”。为了解决深度卷积的局限问题，特征提取能够在高维进行。

上图为MobileNet V2的整体架构。

MobileNet V3

MobileNetV3的整体架构基本沿用了MobileNetV2的设计，采用了轻量级的深度可分离卷积和残差块等结构，依然是由多个模块组成，但是每个模块得到了优化和升级，包括瓶颈结构、SE模块和NL模块。MobileNetV3在ImageNet 分类任务中正确率上升了 3.2%，计算延时还降低了20%。

整体来说MobileNetV3有两大创新点：

• 互补搜索技术组合：由资源受限的NAS执行模块级搜索，NetAdapt执行局部搜索。
• 网络结构改进：将最后一步的平均池化层前移并移除最后一个卷积层，引入h-swish激活函数。

MobileNetV3 有两个版本，MobileNetV3-Small 与 MobileNetV3-Large 分别对应对计算和存储要求低和高的版本。

这是论文中给出的网络结构，值得注意的是第一个卷积核的个数为16，并且采用了HS激活函数；表中exp_size代表benck中第一部分升维后的channel，SE代表是否使用SE模块，NL表示激活函数的类型，HS代表hard-swish激活函数，RE代表ReLU激活函数，s代表步长。

1）MobileNetV3-Large的网络结构：

 2）MobileNetV3-Small的网络结构：

</