- 博客(5)
- 收藏
- 关注
RSS订阅原创 剪枝系列5：CLIP-Q
CLIP-Q: Deep Network Compression Learning by In-Parallel Pruning-Quantization把剪枝和量化一起做的一个方法。以往的做法，剪枝和量化一般都是分开做的，这样很难达到联合最优化。论文代码是用caffe实现的。论文方法方法比较简单，直接放截图了。需要注意的是，在训练阶段，量化后的参数和原始参数都需要用到。原始参数用在反...
2019-11-14 21:50:51
524
1
原创 剪枝系列4：A Bayesian Optimization Framework for Neural Network Compression
这篇论文把贝叶斯优化用到了模型压缩中，提出了一个优化框架，具体压缩的方法可以灵活使用。超参数θ\thetaθ表示最终的网络有多小，比如，当使用剪枝方法时它是一个threshold，当使用SVD是它是一个rank。本文考虑的是如何选择压缩超参数θ\thetaθ。根据BO方法，我们需要确定objective function和acquisition function。Objective funct...
2019-11-01 21:54:43
520
原创 剪枝系列3：Accelerate CNN via Recursive Bayesian Pruning
Accelerate CNN via Recursive Bayesian Pruning用概率方法来剪枝，对层间的噪声用马科夫链建模，考虑了层与层之间的联系。数据驱动。论文方法xxx和yyy分别代表数据和标签。xlx^lxl代表第lll层的输入，WlW^lWl代表第lll层的参数，g(∗)g(*)g(∗)代表激活函数。则xl+1=Wl∗g(xl)x^{l+1}=W^l*g(x^l)x...
2019-10-30 21:29:39
548
原创 剪枝系列2：MetaPruning
MetaPruningMetaPruning:Meta Learning for Automatic Neural Network Channel Pruning代码：https://github.com/liuzechun/MetaPruning.论文贡献1、把元学习(meta learning)用到channel pruning上。2、不需要人工的参数设计。3、相比AutoML方法...
2019-10-30 16:58:21
893
4
原创 剪枝系列1：AutoPruner
剪枝系列1：AutoPruner这是此系列第一篇博客，也是我的第一篇博客，可能许多地方写的不好。主要目的是记录一下看过的论文，以后自己要用到的时候可以快速了解这篇论文的主要思想。AutoPruner: An End-to-End Trainable Filter Pruning Method for Efficient Deep Model Inference是2018年南京大学的一篇文章，...
2019-10-23 21:55:34
1099
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人