Channel Pruning for Accelerating Very Deep Neural Networks 论文笔记

zhongshaoyy

于 2017-11-16 15:57:09 发布

阅读量6.5k

点赞数 4

分类专栏：神经网络加速及压缩论文笔记文章标签：神经网络深度学习

本文链接：https://blog.youkuaiyun.com/zhongshaoyy/article/details/78551728

版权

本文探讨了通道剪枝（channel pruning）方法在加速深度神经网络中的应用。作者通过lasso回归选择代表性神经元，减少不重要通道，以优化网络结构。实验表明，该方法在保持性能的同时能有效减小模型规模，但需要重构和微调来恢复精度。该技术对低层特征提取层的剪枝效果更佳。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前pruning操作都是针对于W矩阵，本文另辟蹊径采取对channel进行pruning的方式来减小运算量。来自ICCV2017，是作者在Face++完成的工作。

作者思路是基于CNN每一层都是稀疏地假设，考虑是否能找到neuron之间的关系，仅留下最具有代表性地neuron。

分为两步解决问题：

找出每一层具有代表性地neuron，我们利用lasso regression来进行类似model selection的过程。将剩余的neuron去掉（pruning）。
利用剩下的代表性ne