【网络优化】超轻量级网络SqueezeNet算法详解

Iandola, Forrest N., et al. “SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 1MB model size.” arXiv preprint arXiv:1602.07360 (2016).

本文考察了深度学习中除了精度之外的另一个重要因素：模型大小。有两处值得学习的亮点：

• 给出了一个分类精度接近AlexNet¹的网络，模型缩小510倍
• 归纳了缩小模型尺寸时的设计思路

复习：卷积层的参数个数。
输入通道$c_i$，核尺寸$k$，输出通道$c_o$，参数个数为：$c_i\times k^2\times c_o$。
以AlexNet第一个卷积层为例，参数量达到：31111*96 = 34848。

作者提供的源码请戳这里，各个主流框架均有实现。

基础模块

在当下许多深度学习的文章中都使用了模块化的设计思想，远者有AlexNet中反复出现的conv+relu+pool模式；近者有用于人体姿态分析的Stacked Hourglass算法（参看这篇博客）

本文使用的基础模块称为fire：

包含三个卷积层（蓝色），步长均为1。分为squeeze和expand两部分，分别压缩和扩展数据（灰色矩形）的通道数。
expand部分中，两个不同核尺寸的结果通过串接层（黄色）合并输出。

fire模块有三个可调参数：

• s 1 s_1