Channel Pruning for Accelerating Very Deep Neural Networks 算法笔记

最新推荐文章于 2024-11-22 10:39:47 发布

AI之路

最新推荐文章于 2024-11-22 10:39:47 发布

阅读量6.3k

点赞数 7

分类专栏：深度学习深度学习模型加速/模型压缩

本文链接：https://blog.youkuaiyun.com/u014380165/article/details/79811779

版权

本文深入解析《Channel Pruning for Accelerating Very Deep Neural Networks》论文，介绍了通道剪枝方法用于加速深度神经网络。通过LASSO回归选择通道，线性最小二乘重建，以减少模型复杂度，提高运行速度。实验证明，该方法在VGG-16等现代网络上取得了显著的加速效果，同时保持了高精度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文：Channel Pruning for Accelerating Very Deep Neural Networks
论文链接：https://arxiv.org/abs/1707.06168
代码地址：https://github.com/yihui-he/channel-pruning

这是一篇ICCV2017的文章，关于用通道剪枝（channel pruning）来做模型加速，通道减枝是模型压缩和加速领域的一个重要分支。

文章的核心内容是对训练好的模型进行通道剪枝（channel pruning），而通道减枝是通过迭代两步操作进行的：第一步是channel selection，这一步是采用LASSO regression来做的，其实就是添加了一个L1范数来约束权重，因为L1范数可以使得权重中大部分值为0，所以能使权重更加稀疏，这样就可以把那些稀疏的channel剪掉；第二步是reconstruction，这一步是基于linear least squares（也就是最小二乘，或者叫最小平方）来约束剪枝后输出的feature map要尽可能和减枝前的输出feature map相等，也就是最小二乘值越小越好。可以看出本文的通道剪枝是对训练好的模型进行的，也就是文章说的inference time，当然作者在最后的conclusion中也提到以后会在train time中也引进通道剪枝，希望能减少训练的时间。

原文中作者列举的加速效果：Our pruned VGG-16 achieves the state-of-the-art results by 5 speed-up along with only 0.3% increase of error. More importantly, our method is able to accelerate modern networks like ResNet, Xception and suffers only 1.4%, 1.0% accuracy loss under 2 speedup respectively, which is significant.

本文采用的通道剪枝（channel pruning）是模型压缩和加速领域中一种简化网络结构的操作，文中作者还列举了其他两种常见的简化网络结构的操作：