大大减少网络参数的squeezenet

一、简介

近些年来深度学习在计算机视觉方面取得了突飞猛进的发展，但是目前深度学习存在着一个非常严重的问题就是模型过大，对计算资源的需求太多，所以目前深度学习在移动端的应用还比较有限。为此网络压缩成为了神经网络研究的一个重点，一般神经网络的压缩方法有对网络的裁剪、网络的量化等，而从网络的设计上来进行考虑，从根本上减少网络的冗余，也是网络压缩的重要手段，本文所介绍的squeezenet就是从这方面来解决网络模型较大的问题的，相比于Alexnet，它能够减少50倍参数的情况下达到同样的识别准确率，因此该网络也是移动端使用比较多的物体识别网络。

二、网络设计

1、本文主要根据以下三个方面来设计网络，从而减少网络的参数

（1）、使用1x1的卷积核来代替3x3的卷积核，从而能将卷积核的参数减少9倍

（2）、减少3x3卷积的通道数，每一层的卷积参数为（输入通道数*滤波器个数*(3*3)），因此减少输入通道数的个数，可以大大减少参数。

（3）、卷积神经网路中大的激活图能够有更高的准确率，因此在网络的后面进行下采样，以便卷积层能够有更大的激活图从而保证网络有较高的识别准确率。

文中指出第1、2步可以在保证模型识别准确率的情况下来尽量的减少参数的数量，而第三步可以在参数受限的情况下来最大化模型的准确率。

2、根据上面的这三条经验，作者设计了名为FIRE的模块，整个模块如图1所示。从图中可以看出FIRE模块可以分为两部分，一部分为squeeze layer，文中用来表示该层的卷积核个数，这部分全为1x1的卷积核，从而实现像（1）中那样减少网络参数的目的；第二部分为expand layer，该层包含1x1及3x3两种卷积核，其中1x1卷积核的个数用