神经网络压缩（3）：Learning both Weights and Connections for Efficient Neural Network

最新推荐文章于 2023-04-02 17:11:15 发布
原创 最新推荐文章于 2023-04-02 17:11:15 发布 · 5.4k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #压缩

该文探讨了在神经网络中同时学习权重和连接的重要性，以实现更高效的网络。通过训练确定重要连接，剪枝冗余连接，再进行微调，减少模型参数量，如AlexNet和VGG-16在降低参数量的同时保持精度。文章还讨论了正则化、Dropout比例调整、局部剪枝和参数协同适应等策略，并强调迭代剪枝和神经元剪枝的有效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Learning both Weights and Connections for Efficient Neural Networks

Abstract

  1. 目的：减少存储量和计算量，使网络更适合在移动设备上运行
  2. 方法：简单地说是只学习重要的连接，修剪冗余的连接减少模型参数
  3. 步骤：train，学习哪些连接是重要的
    　　　prune，剪去不重要的连接
    　　　retrain，finetune剩下的连接的参数
    　　　prune和retrain可以反复迭代进行
  4. 结果：AlexNet减少模型参数量61million->6.7million，没有精度损失
    　　　VGG-16减少模型参数量138million->10.3million，没有精度损失
  1. 8-bit integer (vs 32-bit floating point) activations，用8位int型的activation代替32位float
  2. 量化（Deep Compress论文中介绍的）和剪枝可以同时使用，以获得进一步收益
  3. Network in Network和GoogleNet模型中使用了global average pooling代替FC层来减少参数，但在使用ImageNet的参数时，需要另外增加一个线性层。（这是在网络结构方面寻求参数缩减）
  4. HashNet，和prune结合可能会得到更好的效果

Idea


  • 首先训练整个网络，目的是找出哪些是重要的连接；接着设置一个threshold，pruning掉low-weight的连接（小于该threshold就remo
最低0.47元/天 解锁文章

200万优质内容无限畅学
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5763
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
一步一步分析讲解深度神经网络基础-Convolutional Neural Network
热门推荐
凡难事必作于细的博客
12-25 2万+
Convolutional Neural Network 参考http://cs231n.github.io/convolutional-networks/history Convolutional Neural Networks (CNNs / ConvNets)Convolutional Neural Networks are very similar to ordinary Neural
论文笔记_Learning both Weights and Connections for Efficient Neural Networks
maqian5的博客
06-12 742
这篇论文是韩松大佬的文章，开始膜拜吧！ 文章目录摘要1.介绍2.相关工作3.Learning Connections in Addition to Weights3.1正则化3.2 调整Dropout ratio3.3局部剪枝和参数共适应3.4迭代剪枝3.5修剪神经元4.实验结果 摘要   神经网络既是计算密集型的，也是存储密集型的，这两个特点导致其无法在嵌入式设备上部署使用。另外，卷积神经网络在...
Learning both weights and connections for efficient neural networks
epic_Lin的博客
01-15 918
学习权重和链接以提高神经网络的效率 【论文】模型剪枝（Network Pruning）论文详细翻译_u013044310的博客-优快云博客 摘要 神经网络需要大量计算, 又占用大量内存, 因此难以在嵌入式系统上部署。另外, 传统网络在训练开始前就确定了体系结构;因此, 训练无法改善体系结构。为了解决这些限制，我们描述了一种减少神经网络所需的存储和计算的方法，而不影响它们的准确性，只学习重要的连接。我们的方法使用三个步骤来修建冗余连接。首先，我们训练网络来了解哪些连接时重要的。接下来，我们修建不重要的
论文 - Learning both Weights and Connections for Efficient Neural Networks
行云
07-08 868
Han Song的Deep Compression是模型压缩方面很重要的论文。在Deep Compression中，作者提出了三个步骤来进行模型压缩：剪枝，量化和霍夫曼编码。其中，剪枝对应的方法就是基于本文要总结的这篇论文：Learning both Weights and Connections for Efficient Neural Networks。在这篇论文中，作者介绍了如何在不...
论文复现：Learning both Weights and Connections for Efficient Neural Networks
qq_28094537的博客
09-20 986
论文复现：Learning both Weights and Connections for Efficient Neural Networks
Learning both Weights and Connections for Efficient Neural Networks 论文pytorch复现
Wandering的博客
06-19 1080
Learning both Weights and Connections for Efficient Neural Networks 论文pytorch复现 这是论文中主要的步骤，因此我们复现的时候也主要是利用这个思想。 代码编写需要两个主要部分，首先原来神经网络的训练，然后就是神经网络的裁剪。我这次实验主要是使用论文中说的Lenet-300-100网络来进行测试。 网络的定义以及初次训练 ##############先导入需要的包############################### impo
网络模型剪枝-论文阅读《Learning both Weights and Connections for Efficient Neural Networks》
AManFromEarth的博客
06-18 1332
这是2015年NIPS的一篇经典的剪枝文章，由韩松大神所作，由于年代比较久远，所以就大概说一下它的重点内容，以便给模型剪枝有个初始印象。 Introduction 文章首先讲了LeNet、AlexNet和VGG这些当时经典的网络的参数量的非常大，同时需要的存储空间也越来越大；然后以能量消耗的角度谈了这些模型运行具体能消耗多少能量。这就引出了本文的目标，就是对较大的网络模型进行剪枝以降低能量消耗从而能在移动端实时运行。 文章提出的剪枝策略是：①在初始模型训练完成后，②移除权重低于特定阈值的所有连接，即从稠密连
Learning both Weights and Connections for Efficient Neural Network -- 论文笔记
meanme的专栏
09-25 6719
这是2015年斯坦福和英伟达的一篇论文。1.简介：通过修剪训练后网络中的不重要连接（connections），来减少网络所需要的参数，减少内存和cpu的消耗，使网络更加适应在移动设备上运行。2.idea思想：1）首先训练整个网络，判断哪些是重要连接。2）修剪不重要的连接。3）重新训练修剪后的网络，微调保留下来的参数。3.达到的效果：1）在ImageNet上，减少了AlexNet 9倍的参数，从61
论文品读：Learning both Weights and Connections for Efficient Neural Networks
hsqyc的博客
11-01 4971
https://arxiv.org/abs/1506.02626v3 这是一篇关于模型压缩的15年文章，到目前为止（18年11月）有450的被引 文章介绍了一种参数剪枝（weights pruning）方法，应该算是最基础的一种方法了，直接按照参数是否大于某个阈值来判断哪些参数是重要的，哪些参数是不重要。文章主要目的是想要压缩模型大小后将模型运行在能耗更小的内部SRAM里，在速度提升上文章没有...
Learning both Weights and Connections for Efficient Neural Networks
Wandering的博客
06-12 2093
Learning both Weights and Connections for Efficient Neural Networks 摘要 神经网络是计算密集型和内存密集型的，这使得它们很难部署在嵌入式系统上。此外，传统的网络在训练开始前就确定了架构;因此，训练不能改善网络结构。为了解决这些限制，我们提出了一种方法，通过只学习重要的连接参数，来减少存储和计算所需的神经网络数量级，而不影响其准确性。我们的方法使用三步方法删除冗余连接。首先，我们训练网络了解哪些连接是重要的。接下来，我们修剪不重要连接。最后
模型剪枝一：Learning both Weights and Connections for Efficient Neural Networks
cdknight_happy的专栏
12-11 1721
论文：https://arxiv.org/abs/1506.02626
《Learning both Weights and Connections for Efficient Neural Networks》论文笔记
m_buddy的博客
09-12 484
1. 论文思想 深度神经网络在计算与存储上都是密集的，这就妨碍了其在嵌入式设备上的运用。为了解决该问题，便需要对模型进行剪枝。在本文中按照网络量级的排序，使得通过只学习重要的网络连接在不影响精度的情况下减少存储与计算量。论文中的方法分为三步：首先，使用常规方法训练模型；使用剪枝策略进行模型修剪；在修剪模型的基础上进行finetune。经过试验证明改文章提出的方法使得AlexNet的大小减小了9倍...
Learning both Weights and Connections for Efficient Neural Networks 论文进一步的实验与思考
Wandering的博客
06-23 435
Learning both Weights and Connections for Efficient Neural Networks 论文进一步的实验与思考 上一篇文章我实验了net-300-100网络去识别手写数字体，通过剪枝发现，每一次的激活神经元个数没有明显的变化，而且每次都要激活50%左右，同时浅层的权重可以被大量的剪枝掉，最后只剩下300多个，下面我们就做一个实验，把第一层的个数增加到600个神经元，看看相应的实验结果 net-600-100 实验 下面就是基于以上的代码，使用手写数字体的数据集
论文《Learning both Weights and Connections for Efficient Neural Network》阅读笔记
m0_38082419的博客
12-01 820
因为对深度压缩中的剪枝不太理解遂读了原文作者更早的这篇详细讲网络剪枝的文章点击打开链接 剪枝的过程为： 1.首先剪枝的前提是对已完成训练的网络 2.进行剪枝   要点：根据一个阈值去裁剪参数 a.阈值的确定：首先这个阈值相关于这一层权重的标准差（The pruning threshold is chosen as a quality parameter multiplied by th
（精读论文）剪枝Learning both Weights and Connections for Efficient Neural Networks
RuanJianNB的博客
04-02 270
神经网络是计算密集型和内存密集型的，这使得它们很难部署在嵌入式系统上。此外，传统的网络在培训开始前就已经确定了架构;因此，培训不能改善体系结构。为了解决这些限制，我们描述了一种方法，通过只学习重要的连接，在不影响神经网络准确性的情况下，将神经网络所需的存储和计算量减少一个数量级。我们的方法使用三步法去除冗余连接。首先，我们训练这个网络，让它知道哪些连接是重要的。接下来，我们删除不重要的连接。最后，我们重新训练网络来微调剩余连接的权值。
深度网络推理加速（Learning both Weights and Connections for Efficient Neural Networks）
ss_thbcr的博客
01-09 746
摘要 针对卷积神经网络的结构在训练之前就已经被固定下来，因而训练过程无法优化网络结构，本文提出了一种三步法在保留网络能力的前提下进行剪枝。首先，让网络在训练中学习到哪些连接是重要的；其次，对不重要的连接进行剪枝；最后，在剪枝后的网路欧上进行微调。用该方法对ImageNet数据的AlexNet和VGG-16网络进行优化，分别将模型减小了十倍左右，而没有损失精度。 下图是在45nm工艺的CMOS芯
《Neural Networks and Deep Learning》深度学习与神经网络权威指南
资源摘要信息:"Neural Networks and Deep Learning-2018_Neuralnetworks_神经网络书_深度神经" 知识点详细说明： 1. 神经网络与深度学习基础 - 神经网络是深度学习的基础，它是一种模仿人脑神经元结构的计算模型。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值