hsqyc的博客

https://arxiv.org/abs/1506.02626v3这是一篇关于模型压缩的15年文章，到目前为止（18年11月）有450的被引文章介绍了一种参数剪枝（weights pruning）方法，应该算是最基础的一种方法了，直接按照参数是否大于某个阈值来判断哪些参数是重要的，哪些参数是不重要。文章主要目的是想要压缩模型大小后将模型运行在能耗更小的内部SRAM里，在速度提升上文章没有...

http://cn.arxiv.org/abs/1607.03250文章介绍了一种新的评价参数是否需要被裁剪的标准：AP0Z 公式1给出了AP0Z的定义。代表第i层的第c个通道的输出，M是的维度数。算了，解释起来太麻烦，直接看下图。输入一张图，经过一层卷积，得到右边的feature map，我们计算，也就是输出的第一个通道的APOZ，也就是右边红色。假设红色的部分一半是0，那么这张...

https://arxiv.org/abs/1608.08710本文提出了一种基于L1的通道裁剪的方法，在VGG16上降低34%的计算量，ResNet-101降低38%计算量 本文说权重裁剪只能稀疏化矩阵，不能降低计算量从而提速，并且稀疏化会需要BLAS稀疏计算库。并且论文提出了不用一层层迭代裁剪，而是直接one-shot一次裁剪，可以节省裁剪、训练时间。最后，作者还发现了即使ResN...

 模型裁剪系列相关论文品读博客：1.论文品读：Learning both Weights and Connections for Efficient Neural Networks https://blog.youkuaiyun.com/hsqyc/article/details/834210612.论文品读：Network Trimming: A Data-Driven Neuron Pruni...

2018年的论文，提出了一种新的评价卷积核重要程度的方式。主要思想是比较改变损失函数前后训练得到的两套参数，如果某个位置的参数改变的幅度大，就认为该参数是敏感的不稳定的，那就是不重要的，优先裁剪。具体过程如下1.正常训练得到基础模型参数。2.改变损失函数并训练1到3个epoch得到新的模型参数，新的损失函数为左边公式的L，C是原始损失函数，K代表网络有几层，S通过右边公式得到。右边...