magic_ll的博客

假设正在对一个卷积结构化剪枝，需要减去哪些内容，具体第几个卷积核、对应的偏置、BN中对应的维度、与其直接或间接相连的层的核的channel。在结构化剪枝中，这两个卷基层之间存在非常直观的依赖关系，即当我们调整第一层的输出通道时，第二个卷积层的输入通道也需要相应的进行调整，这使得蓝色高亮的参数需要同时被剪枝。怎么去看这个group呢，在下图右侧进行了简单的标注，可以发现conv1的group都会进行剪枝，从而适应conv1的卷积核的维度发生的变化。结构化和非结构化剪枝方向，已发表的有较多的论文。

前言模型在端侧运行时，会追求模型保持原有精度的同时，让模型的运行速度更快。基本方向为模型压缩和加速，着力于减少网络参数量、降低计算复杂度。可通过以下方式实现：针对网络结构本身进行改进，常用的3x3的卷积的叠加代替大卷积；average-pooling 代替 full-connection layers；MobileNets中使用的 depth-wise convolution 代替传统的卷积方式；等。剪枝：除去神经网络结构中不重要的部分量化：调整网络结构中的权重和激活值的表达精度。

https://arxiv.org/abs/1707.06342Abstract我们提出了一个高效统一的框架，即ThiNet，在训练和推理阶段同时加速和压缩CNN模型。我们关注的是过滤器级别的剪枝，也就是说，如果整个过滤器不那么重要，那么它将被丢弃。我们的方法不改变原有的网络结构，因此它可以被任何现成的深度学习库完美地支持。我们将滤波器剪枝作为一个优化问题建立起来，并揭示我们需要根据从下一层计算的统计信息来修剪过滤器，而不是当前的层，这ThiNet与现有的方法不同。实验结果表明了该策略的有效性，提高了

ABSTRACT在各种应用中的成功伴随着计算和参数存储成本的显著增加。最近为减少这些开销所做的努力包括在不损害原有精度的情况下修剪和压缩各层的权重。然而，基于大小的权值剪枝从完全连通的层中减少了大量的参数，由于剪枝后的网络具有不规则的稀疏性，可能不能充分降低卷积层的计算成本。我们提出了一种cnn的加速方法，我们从被识别为对输出精度影响很小的cnn中删除滤波器。通过去除网络中所有的过滤器及其连接的特征映射，大大降低了计算成本。与修剪权值相反，这种方法不会导致稀疏连接模式。因此，它不需要稀疏卷积库的支持，