【论文阅读】MobileNets:Efficient Convolutional Neural Networks for Mobile Vision Applications

论文简介：

《MobileNets:Efficient Convolutional Neural Networks for Mobile Vision Applications》中的MobileNets是Google针对手机等计算资源有限的嵌入式设备提出的轻量级的深层神经网络结构，其特点是在牺牲较少精度的情况下获得较快的运行速度（较少计算量和较少参数）。其核心思想是将传统卷积分解为深度分离卷积（depthwise separable convolutions）和1x1点卷积两步来实现。

一、Introduction 介绍

目前CNN在计算机视觉领域无所不在，为了获得更高的性能，往往都是在设计更深、更复杂的网络模型。面对计算资源较少的嵌入式设备，或具有实时运行需求的应用场景，多参数、多计算量的大型网络往往无法得到实用，机器人，自动驾驶，增强现实。

当前构建小而高效网络模型的技术大概可以分为两类，一、压缩预训练好的模型，二、直接训练小型网络。模型压缩技术主要有，网络剪枝，对预训练完成的网络模型，分析去掉不重要的一部分模型参数及结构，参数量化，float型的模型参数进行取整，采用8bit uchar存储，可降低模型大小及加速计算（较轻微精度损失），模型参数聚类，采用huffman编码（出现概率较多的数采用短的编码）。知识蒸馏（distillation）,采用预训练好的大型网络作为“老师”，再训练小型网络（小型网络不是直接使用数据集标签进行训练，而是使用大型网络的输出作为标签进行训练）。

二、MobileNet

MobileNet使用深度分离卷积（depthwise separable c