
模型压缩
Lingyun_wu
铜镜映无邪 扎马尾
展开
-
卷积神经网络的复杂度分析
在进行CNN的设计中,我们不仅要考虑模型的准确率,还需要考虑模型的实用性。现阶段大量的paper纯堆精度,缺没有深入思考模型以及算法的实用性。 最近有一点感触很深:很多我们在做研究时认为默认的东西,在进行实际应用项目中,才发现这些先验数据是无法获得的,这和学术探索是很不同的。可能需要问自己,我们应该做怎样的研究者? 对于CNN,网络的复杂度分析也是非常非常重要的。 1、时间复杂度——计...原创 2020-03-02 18:59:44 · 1044 阅读 · 0 评论 -
【模型压缩】Deep Compression,多种方式混合经典paper
Paper:Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding 论文链接:https://arxiv.org/abs/1510.00149 ICLR 2016的best paper,通过剪枝、量化、哈夫曼编码三步混合来做模型压缩。 In...原创 2019-08-10 10:38:44 · 543 阅读 · 0 评论 -
【模型剪枝】Network Slimming:卷积核剪枝
paper:Learning Efficient Convolutional Networks through Network Slimming 这是一篇做剪枝的paper,2017的ICCV文章。 主要亮点在于直接使用BN层的gamma参数进行剪枝评估。在卷积核的级别做剪枝,非常方便好用。 问题: 这篇paper中,Lamda的选择标准和阈值标准没有给出,应该就是作者实验试出来的。 因...原创 2019-09-25 14:10:38 · 3644 阅读 · 2 评论