Channel Pruning for Accelerating Very Deep Neural Networks 论文笔记

最新推荐文章于 2024-11-22 10:39:47 发布
原创 最新推荐文章于 2024-11-22 10:39:47 发布 · 6.5k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #深度学习

本文探讨了通道剪枝（channel pruning）方法在加速深度神经网络中的应用。作者通过lasso回归选择代表性神经元，减少不重要通道，以优化网络结构。实验表明，该方法在保持性能的同时能有效减小模型规模，但需要重构和微调来恢复精度。该技术对低层特征提取层的剪枝效果更佳。 
之前pruning操作都是针对于W矩阵，本文另辟蹊径采取对channel进行pruning的方式来减小运算量。来自ICCV2017，是作者在Face++完成的工作。

PDF 
Code

作者思路是基于CNN每一层都是稀疏地假设，考虑是否能找到neuron之间的关系，仅留下最具有代表性地neuron。

分为两步解决问题：

  • 找出每一层具有代表性地neuron，我们利用lasso regression来进行类似model selection的过程。将剩余的neuron去掉（pruning）。 
  • 利用剩下的代表性neuron来重构（reconstruction）这一层原本的输出。
最低0.47元/天 解锁文章

新学期VIP享超值加赠
《Channel Pruning for Accelerating Very Deep Neural Networks》论文笔记
m_buddy的博客
01-02 1217
1. 概述 这篇文章提出了一种基于LASSO回归的通道选择和最小二乘重构的迭代两步算法，有效地对每一层进行修剪。并进一步将其推广到多层和多分枝的场景下。论文中的方法能够减少累积误差并且提升对于不同结构的适应性。该方法在VGG-16数据集上实现了5倍加速并且只有0.3%误差提升。更重要的是文章中的方法可以用于加速像ResNet和Inception，在加速两倍的情况下只牺牲了1.4%和1.0%的准确率...
Channel Pruning for Accelerating Very Deep Neural Networks 算法笔记
AI之路
04-04 6420
论文：Channel Pruning for Accelerating Very Deep Neural Networks 论文链接：https://arxiv.org/abs/1707.06168 代码地址：https://github.com/yihui-he/channel-pruning 这是一篇ICCV2017的文章，关于用通道剪枝（channel pruning）来做模型加速，通...
代码开源：Channel Pruning for Accelerating Very Deep Neural Networks
yihuihe
08-22 7845
代码开源：Channel Pruning for Accelerating Very Deep Neural Networks[PDF] [Code] 基于CNN每一层都是稀疏地假设，我们考虑是否能找到neuron之间的关系，仅留下最具有代表性地neuron？
Channel Pruning for Accelerating Very Deep Neural Networks
weixin_37958272的博客
07-08 890
Channel Pruning for Accelerating Very Deep Neural Networks ########################################### 补充阅读：LASSO回归，最小二乘法 ########################################### 本文提出了一种新的通道剪枝方法来加速超深卷积神经网络，给出了一个训练好的CNN模型，通过基于LASSO回归的通道选择和最小二乘重建，提出了一种迭代两步算法来有效地剪枝每一层。进一步
[论文解读] Testing Deep Neural Networks
年糕的博客
09-27 1853
简介 注意:本文特别多的公式,但很多公式其实都是把一些知识用公式化的语言描述出来了而已. 论文标题 Testing Deep Neural Networks 测试深度学习系统 2018.3 核心内容 介绍了**三种变化,**符号变化,值变化,距离变化. 介绍了四种覆盖方法ss, ds, sv, dv 自动测试用例生成算法 背景 前人的如下两种测试方法是不好的 使不同的测试样例激活不同...
Channel Pruning for Accelerating Very Deep Neural Networks代码详解
qq_23225921的博客
12-14 6099
完整的剪枝过程主要包括以下几个步骤： 1、权重分解以及channel pruning 2、对剪枝后的模型fine_tune，恢复表征能力 3、将微调后的caffemodel作为faster的pre_trained模型，再次进行fine_tune
[剪枝]Channel Pruning for Accelerating Very Deep Neural Networks
onion_rain的博客
01-18 291
Channel Pruning for Accelerating Very Deep Neural Networks 已复现：https://github.com/onion-rain/MCTS: python thinet_exp.py --arch vgg16_bn_cifar --gpu 5 --resume checkpoints/baseline/cifar10_vgg16_bn_cifar_best.pth.tar --prune-percent 0.3 --lp-norm ..
Channel Pruning for Accelerating Very Deep Neural Networks论文笔记
yimiyangguang1994的博客
06-22 1002
论文阅读https://arxiv.org/abs/1707.06168总结利用channel pruning实现网络inference过程中的加速，预训练模型上剪枝，包括两个步骤（1）LASSO regression based channel selection (2)least square reconstruction 方法1. 单层剪枝，两步操作： （1）channel selecti...
论文学习笔记01（Deep Neural Networks in Machine Translation: An Overview）
Xiao_yanling的博客
03-31 454
论文学习笔记 Deep Neural Networks in Machine Translation: An Overview 1.拓展：seq2seq模型（encoder-decoder结构的一种） 输入和输出不等长 从一个序列到另一个序列的转换 常用于机器翻译、聊天对话场景 两个RNN：一个做Encoder，一个做Decoder Encoder：将输入序列压缩成一个语义向量c Decode...
【论文阅读】基线论文 Deep Neural Networks for YouTube Recommendations
qq_45721997的博客
02-21 829
Deep Neural Networks for YouTube Recommendations ，百度就可以。 推荐YouTube的视频会在三个主要角度上受限：规模（Scale）（YouTube的数据太大的，比以往算法成熟应用的数据集都要大），（新鲜度）（Freshness）（YouTube视频库动态更新快，推荐系统对新内容建模），噪音(noise)(算法需要对个别特征有鲁莽性)
模型压缩之通道剪枝channel-pruning-master.zip
08-01
对训练好的模型进行通道剪枝（channel pruning），分为两步进行：第一步是channel selection，采用LASSO regression来做，其实就是添加了一个L1范数来约束权重，因为L1范数可以使得权重更加稀疏，这样就可以把那些稀疏的channel剪掉；第二步是reconstruction，基于linear least squares来约束剪枝后输出的feature map要尽可能和减枝前的输出feature map相等，也就是最小二乘值越小越好。
boilerplate:一个可靠的，可靠的起点，可用于您的下一个hapi插件或部署
03-26
伙伴样板 一个可靠的，可靠的起点，可用于您的下一个hapi插件或部署 首席维护者 特征 支持hapi v20 +和nodejs v12 +。 使用 hapi CLI调试工具进行设置。 通过使用将整个hapi插件API映射到文件和文件夹中，提供了构建插件的约定。 旨在允许您单独部署插件或将其作为大型应用程序的一部分进行部署。 教科书与Objection ORM，Swagger UI以及更多其他通过集成。 使用测试套件和配置进行全面设置。 使用和强大的，的部署配置。 所有依赖项的最新版本。 开箱即用地遵循既定的hapi最佳做法。 该代码是最少的，并且是完全通用的-无需查找并替换您的项目名称即可上手。 入门 如果您有兴趣了解我们为什么一起创建pal，请查看我们的中篇文章 。 以下是创建您的第一个路线的简单教程。 要更深入地了解pal生态系统，数据库集成等，请参阅。 npx
Python-ChannelPruningforAcceleratingVeryDeepNeuralNetworks
08-12
Channel Pruning for Accelerating Very Deep Neural Networks
通道剪枝channel pruning
qq_45655136的博客
10-09 2335
论文：Channel Pruning for Accelerating Very Deep Neural Networks论文链接：https://arxiv.org/abs/1707.06168代码地址：https://github.com/yihui-he/channel-pruning这是一篇ICCV2017的文章，关于用通道剪枝channel pruning来做模型加速，通道剪枝是模型压缩和加速领域的一个重要分支。
论文笔记 Channel Pruning for Accelerating Very Deep Neural Networks
qq_43349296的博客
10-19 841
如图三右侧所示，Y2Y1Y_2, Y_1Y2​Y1​分别为剪枝前residual branch，shortcut branch输出的特征图，Y′Y'Y′表示为剪枝后的特征图，因为shortcut没有参数，不能根据eq1重建输出特征图，因此将优化目标从Y2Y_2Y2​改为Y2Y1−Y1′Y2​Y1​−Y1′​，相当于额外弥补了剪枝后shortcut branch损失的通道信息。
【论文笔记】Channel Pruning for Accelerating Very Deep Neural Networks
shura的技术空间
11-06 2521
论文：https://arxiv.org/abs/1707.06168 源码：https://github.com/yihui-he/channel-pruning 本篇论文来自ICCV2017年的论文，是旷世的工作。因为之复现AMC的论文发现源码中使用了权重重构 （weight reconstruction）的方法，于是乎查了出处发现来源于这篇论文。本文的思想算是channel prune早...
英文单词：boiler plate；boilerplate；煮锅底板；鞋底样
mzhan017的博客
12-17 978
其实场景是煮锅的制造工厂里出来的短语。当一个制作煮锅的钢板被压制、打磨成型之后，制造整锅就可以通过这个模子，压制出更多整锅钢板，摞着备用。这个被压制出来的第一个成形的钢板，从形状上看就是一个plate。记得小时候，家里做布鞋的时候，都有一打鞋底纸；其实如果不是作为语言历史考究的人来说，你就放过这些问题，其实也不影响理解，要考究需要花费的精力很大，可能已经有人做了，只是暂时不知道怎么获取。当然这就是一个常用语的习惯问题，就像我们有些场景会让曹操登场，即使已经死了近两千年：说曹操，曹操到。boil是怎么来的？
通道剪枝Channel Pruning
年轻即出发，
10-12 8634
你感觉不舒服的时候，就是成长的时候…… 论文：Channel Pruning for Accelerating Very Deep Neural Networks Github: https://github.com/yihui-he/channel-pruning ICCV2017 旷视科技 论文提出了新的通道剪枝方法，基于2步迭代的剪枝方法。首先基于LASSO回...
项目推荐：Channel Pruning for Accelerating Very Deep Neural Networks
最新发布
gitblog_00836的博客
11-22 338
项目推荐：Channel Pruning for Accelerating Very Deep Neural Networks 项目基础介绍和主要编程语言 Channel Pruning for Accelerating Very Deep Neural Networks 是一个开源项目，旨在通过通道剪枝技术加速深度神经网络的运行。该项目主要使用Python语言进行开发，并依赖于Caffe深度学习...
代码pruning convolutional neural networks for resource efficient inference
08-14
代码修剪卷积神经网络用于资源高效推理，是一种优化模型的方法，旨在减小模型的尺寸和计算量，从而实现在资源受限的设备上进行高效推理。 修剪是指通过删除模型中的一些参数或神经元来减小模型的复杂性。在卷积神经网络中，修剪通常包括删除一些卷积核或通道，以及减少连接权重的数量。这可以通过一些算法和技术来实现，例如剪枝算法、稀疏矩阵和低秩近似等。 修剪卷积神经网络可以带来多个好处。首先，它可以大大减小模型的尺寸，从而降低了存储模型所需的内存空间。其次，修剪可以减少模型的计算量，使得模型可以更快地进行推理。这对移动设备和嵌入式系统等资源受限的设备非常重要。此外，修剪还可以提高模型的泛化能力，减少过拟合的风险。 对于修剪卷积神经网络的代码实现，一般分为两个步骤。首先，需要训练一个初始的卷积神经网络模型。然后，通过一些修剪算法选择要修剪的参数或神经元，并将其从模型中移除。修剪的目标可以是按照权重大小或梯度大小进行选择。 在实际编程中，代码可以使用一些深度学习框架（如PyTorch或TensorFlow）来实现。这些框架通常提供了一些修剪工具和函数，以便进行参数和神经元的修剪。开发者需要根据具体的应用场景和需求来选择合适的修剪策略，并根据框架的API来实现修剪过程。 总之，代码修剪卷积神经网络是一种资源高效推理的方法，通过减小模型的尺寸和计算量，提高模型的效率和性能。这对于在资源受限的设备上进行深度学习推理任务非常有意义。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值