MobileNets—深度学习模型的加速

本篇博文来介绍一个深度学习模型加速的算法：MobileNets，可以在基本不影响准确率的前提下大大减少计算时间和参数数量。

论文：MobileNets Efficient Convolutional Neural Networks for Mobile Vision Applications
论文链接：https://arxiv.org/abs/1704.04861
MXNet框架代码：https://github.com/miraclewkf/mobilenet-MXNet

算法概述：

深度学习网络广泛应用在图像分类，检测中，但是网络结构复杂，参数过多，计算时间过长使其不容易在移动端应用。因此像模型压缩、模型加速应该会是未来深度学习比较活跃的一个领域。本文提出一种将传统的卷积结构改造成两层卷积结构的网络：MobileNets，采用类似ResNext里面的group操作来实现。这种新的结构可以在基本不影响准确率的前提下大大减少计算时间（约为原来的1/9）和参数数量（约为原来的1/7）。

这篇博客中不特殊强调的话，卷积核默认都是三维，这三维分别对应长、宽和输入通道数，因为不同人对卷积核维度的理解不同。对于常规卷积而言，假设输入特征通道数是M，卷积核的长宽分别是DK和DK，卷积核的数量是N，那么可以说是有N个M*DK*DK卷积核，也可以说是有N组卷积核，每组有M个DK*DK的卷积核。不管是哪种理解，都不影响卷积层的本质：该层有N*M*DK*DK个参数。

算法详解：

MobileNet模型的核心就是将原本标准的卷积操作因式分解成一个depthwise convolution和一个1*