Channel Pruning：用于加速深度神经网络的通道剪枝方法

本文出自论文 Channel Pruning for Accelerating Very Deep Neural Networks，主要介绍了一种新的通道剪枝方法，用来加速非常深的卷积神经网络。

---

在本文中，我们介绍了一种新的通道剪枝方法，用来加速非常深的卷积神经网络。给定一个训练过的CNN模型，我们提出来一种迭代式的两步骤算法，通过基于通道选择的LASSO回归和最小二乘法重建来有效地修剪每一层。我们进一步将这个算法扩展到多层、多分支的情况。该方法减少了积累误差，提高了与各种体系架构的兼容性。所修剪过的VGG-16获得了5倍的加速效果且只有0.3%的误差增加，该方法还可以加速现代网络例如ResNet、Xception，并且在2倍加速的情况下只有1.4%、1.0%的精度损失。

---

---

一、简介

1. 结构简化主要涉及到三个方面：张量分解、稀疏连接和通道剪枝。张量分解将一个卷积层分解成几个有效的部分，然而feature map宽度（通道数）不能被减少，使得现代网络中常用的卷积层很难被分解，这种方法也引入了额外的计算开销。稀疏连接使神经元或通道之间的连接失效，尽管它可以实现较高的理论加速比，但稀疏卷积层有一个不规则的shape，不能很好地去实现。作为对比，通道剪枝直接地减少feature map宽度，将一个网络进行缩减。
2. 通道剪枝是简单但具有挑战性的，因为移除一个层的通道可能会显著地改变下一层的输入。基于训练的通道剪枝工作集中于在训练期间对权重施加稀疏约束，可以自适应地确定超参数，然而从头开始训练具有一定的代价。推理时间关注于单个权重重要性的分析，所说明的加速比是非常受限的。
3. 本文中，我们提出来一个新的针对通道剪枝的推理时间方案，它利用了冗余的内部通道。受到张量分解通过feature maps重建而提高的激励，而不是分析filter权重，我们充分利用了冗余内部feature maps。特别地，给定一个训练过的CNN模型，对每一层的修剪可以通过最小化它的输出feature maps重建误差来获得。我们通过两个可选择步骤来解决这个最小化问题：通道选择和feature map重建。在第一步中，我们选择最有代表性的通道，然后基于LASSO回归剪去冗余的通道。第二步中，我们利用最小二乘法重构了剩余通道的输出。进一步来说，我们逐层逼近这个网络，并考虑了积累误差。

二、相关工作

CNN加速有三种策略：优化实现、量化和结构简化。基于优化实现的方法通过特殊的卷积算法（像FFT）来加速卷积。量化方法减少了浮点数计算复杂度。结构简化则是我们上面提到的几种方法。

三、方案

1. 下图展示了一个简单卷积层的通道剪枝算法，我们旨在减少feature map B的通道数，同时保持feature map C的输出。一旦通道被修剪掉，我们可以移除这些通道作为输入的过滤器的相应通道。另外，生成这些通道的滤波器也会被移除。所以通道剪枝涉及两个关键点，第一个是通道选择，因为我们需要选择合适的通道结合来保持尽量多的信息，第二个是重构，我们需要使用所选择的通道重构接下来的feature maps。
2. 为了修剪一个通道数为c的feature map，我们考虑从这个feature map采样得到的输入体X（$N\times c\times k_h\times k_w$）应用卷积滤波器W（$n\times c\times k_h\times k_w$），这里N是样本数量，n是输出通道数量，$k_h,k_w$是核大小。为了将输入通道从c修剪到c`，同时最小化重构误差，我们定义我们的问题如下：$\underset{\beta ,W}{\mathrm{argmin}}$