本文介绍了一种基于熵的网络剪枝方法，该方法通过计算filter的熵来判断其重要性，采用全局平均池化转化layer输出并用验证集图片计算熵。实验中对VGG16和ResNet-50实施了不同策略的裁剪，压缩效果良好且精度损失可接受。
这篇文章也是网络剪枝的早期文章，其算法是filter级别的裁剪。文章认为weights的大小不能决定一个filter的重要性，应该用熵来决定：
而对于这个概率pi，其得到方法如下：
简单来说，就是用全局平均池化来转化一个layer的output，得到一个向量。用验证集的一些图片进入网络，就可以得到一个矩阵，这个filter的熵就可以用这个矩阵计算出来。
实验上，文章针对VGG16和ResNet18采用了两个不同的裁剪策略。对于VGG16：
- 裁剪前十层的layer
- 用最大平均池化代替全连接层
对于ResNet-50的裁剪方法：
从实验结果上来说，压缩倍数和精度损失都能接受。后续的改进我觉得可以以熵为基础，加点其他东西进去。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
