论文《Learning both Weights and Connections for Efficient Neural Network》阅读笔记

最新推荐文章于 2023-04-02 17:11:15 发布
原创 最新推荐文章于 2023-04-02 17:11:15 发布 · 820 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#模型压缩

本文详细介绍了一种深度学习模型压缩技术——网络剪枝的方法。文章首先解释了剪枝的基本概念，随后阐述了如何根据阈值裁剪网络中的冗余权重，并介绍了重新训练的策略以减少精度损失。此外，还探讨了不同网络层对剪枝的敏感度及其对最终模型的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

因为对深度压缩中的剪枝不太理解遂读了原文作者更早的这篇详细讲网络剪枝的文章点击打开链接

剪枝的过程为：

1.首先剪枝的前提是对已完成训练的网络

2.进行剪枝   要点：根据一个阈值去裁剪参数

a.阈值的确定：首先这个阈值相关于这一层权重的标准差（The pruning threshold is chosen as a quality parameter multiplied by the standard deviation of a layer’s weights.），同时每一层的阈值的确定也要参考相应层对裁剪的敏感度（We used the sensitivity results to find each layer’s threshold: for example, the smallest threshold was applied to the most sensitive layer, which is the first convolutional layer. ）。文中以折线图的形式展示了AlexNet每一层对裁剪的敏感度如下：


b.某个权重被裁剪后，与其相连的前一层或者后一层的连接也自动失效了。

3.迭代剪枝（即一次剪枝+一次重新练为一个迭代）

a.重新练的时候参数是在剪枝完的基础上，所以不需要重新初始化；
b.为了消除裁剪产生的错误率，重新训练的时候卷积层固定为剪完后的参数不变，仅重训练全连接层的参数，反之亦然；
c.重新训练采用L2规则化效果更好

4.剪枝完成

如下图示：对AlexNet的第一个全连接层剪枝完后的前后权重分布差异，之前分布范围在 [−0.015,0.015]，之后为 [−0.025,0.025].



神经网络压缩（3）：Learning both Weights and Connections for Efficient Neural Network
cookie_234的博客
06-07 5447
Learning both Weights and Connections for Efficient Neural NetworksAbstract 目的：减少存储量和计算量，使网络更适合在移动设备上运行 方法：简单地说是只学习重要的连接，修剪冗余的连接减少模型参数
论文笔记_Learning both Weights and Connections for Efficient Neural Networks
maqian5的博客
06-12 742
这篇论文是韩松大佬的文章，开始膜拜吧！ 文章目录摘要1.介绍2.相关工作3.Learning Connections in Addition to Weights3.1正则化3.2 调整Dropout ratio3.3局部剪枝和参数共适应3.4迭代剪枝3.5修剪神经元4.实验结果 摘要   神经网络既是计算密集型的，也是存储密集型的，这两个特点导致其无法在嵌入式设备上部署使用。另外，卷积神经网络在...
Learning both weights and connections for efficient neural networks
weixin_30359021的博客
09-27 135
Introduction and related work 这是《LearningbothWeightsandConnectionsforEfficient NeuralNetworks》中所有关于缩小时间的描述： 这个3x就是根据应该计算的浮点数得出的，即去掉那些剪掉的权重，余下的权重需要参与的浮点数计算。用索引or用mask，都没有说。但无论用索引（索引也很费时间...
论文 - Learning both Weights and Connections for Efficient Neural Networks
行云
07-08 868
Han Song的Deep Compression是模型压缩方面很重要的论文。在Deep Compression中，作者提出了三个步骤来进行模型压缩：剪枝，量化和霍夫曼编码。其中，剪枝对应的方法就是基于本文要总结的这篇论文：Learning both Weights and Connections for Efficient Neural Networks。在这篇论文中，作者介绍了如何在不...
《Learning both Weights and Connections for Efficient Neural Networks》论文笔记
m_buddy的博客
09-12 484
1. 论文思想 深度神经网络在计算与存储上都是密集的，这就妨碍了其在嵌入式设备上的运用。为了解决该问题，便需要对模型进行剪枝。在本文中按照网络量级的排序，使得通过只学习重要的网络连接在不影响精度的情况下减少存储与计算量。论文中的方法分为三步：首先，使用常规方法训练模型；使用剪枝策略进行模型修剪；在修剪模型的基础上进行finetune。经过试验证明改文章提出的方法使得AlexNet的大小减小了9倍...
Learning both Weights and Connections for Efficient Neural Networks
Wandering的博客
06-12 2092
Learning both Weights and Connections for Efficient Neural Networks 摘要 神经网络是计算密集型和内存密集型的，这使得它们很难部署在嵌入式系统上。此外，传统的网络在训练开始前就确定了架构;因此，训练不能改善网络结构。为了解决这些限制，我们提出了一种方法，通过只学习重要的连接参数，来减少存储和计算所需的神经网络数量级，而不影响其准确性。我们的方法使用三步方法删除冗余连接。首先，我们训练网络了解哪些连接是重要的。接下来，我们修剪不重要连接。最后
论文阅读笔记（五十四）：V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation
sunshine_010的博客
05-14 7652
Abstract. Convolutional Neural Networks (CNNs) have been recently employed to solve problems from both the computer vision and medical image analysis fields. Despite their popularity, most approaches ...
2020_TKDE_DiffNet++_A Neural Influence and Interest Diffusion Network for Social Recommendation
weixin_46645827的博客
02-09 6731
[论文阅读笔记]2020_TKDE_DiffNet++_A Neural Influence and InterestDiffusion Network for Social Recommendation 论文下载地址： 发表期刊：TKDE Publish time: 2020 作者及单位: Le Wu, Member, IEEE, Junwei Li, Peijie Sun, Richang Hong, Member, IEEE, Y ong Ge, Member, IEEE, Meng Wang,
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【论文笔记】Image Classification with Deep Convolutional Neural Network
machine learning world
10-19 662
Alex Krizhevsky在ImageNet大赛中获胜的代码的说明文章1. 整体架构Overall Architecture //概括：5个卷积层+3个全连接层+1个softmax层。在第1，2，5个卷积层后加了一个LRN和Max Pooling。 每层的尺寸演算2. 创新点 2.1 ReLU//概括：不用simgoid和tanh作为激活函数，而用ReLU作为激活函数的原因是：加速收敛。
Quantization and Training of Neural Networks
02-11
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
（精读论文）剪枝Learning both Weights and Connections for Efficient Neural Networks
RuanJianNB的博客
04-02 269
神经网络是计算密集型和内存密集型的，这使得它们很难部署在嵌入式系统上。此外，传统的网络在培训开始前就已经确定了架构;因此，培训不能改善体系结构。为了解决这些限制，我们描述了一种方法，通过只学习重要的连接，在不影响神经网络准确性的情况下，将神经网络所需的存储和计算量减少一个数量级。我们的方法使用三步法去除冗余连接。首先，我们训练这个网络，让它知道哪些连接是重要的。接下来，我们删除不重要的连接。最后，我们重新训练网络来微调剩余连接的权值。
论文品读：Learning both Weights and Connections for Efficient Neural Networks
hsqyc的博客
11-01 4971
https://arxiv.org/abs/1506.02626v3 这是一篇关于模型压缩的15年文章，到目前为止（18年11月）有450的被引 文章介绍了一种参数剪枝（weights pruning）方法，应该算是最基础的一种方法了，直接按照参数是否大于某个阈值来判断哪些参数是重要的，哪些参数是不重要。文章主要目的是想要压缩模型大小后将模型运行在能耗更小的内部SRAM里，在速度提升上文章没有...
Learning both Weights and Connections for Efficient Neural Networks 论文pytorch复现
Wandering的博客
06-19 1080
Learning both Weights and Connections for Efficient Neural Networks 论文pytorch复现 这是论文中主要的步骤，因此我们复现的时候也主要是利用这个思想。 代码编写需要两个主要部分，首先原来神经网络的训练，然后就是神经网络的裁剪。我这次实验主要是使用论文中说的Lenet-300-100网络来进行测试。 网络的定义以及初次训练 ##############先导入需要的包############################### impo
Learning both Weights and Connections for Efficient Neural Networks 论文进一步的实验与思考
Wandering的博客
06-23 435
Learning both Weights and Connections for Efficient Neural Networks 论文进一步的实验与思考 上一篇文章我实验了net-300-100网络去识别手写数字体，通过剪枝发现，每一次的激活神经元个数没有明显的变化，而且每次都要激活50%左右，同时浅层的权重可以被大量的剪枝掉，最后只剩下300多个，下面我们就做一个实验，把第一层的个数增加到600个神经元，看看相应的实验结果 net-600-100 实验 下面就是基于以上的代码，使用手写数字体的数据集
【Learning both Weights and Connections for Efficient Neural Networks】论文笔记
我是一只比菜鸟还菜的菜鸟！
06-06 3776
追随Song Han大神的第一篇网络压缩论文（NIPS’15），论文链接：https://arxiv.org/abs/1506.02626 网络权重参数修剪的基础篇。 效果： 作者用了4个网络实验 Lenet-300-100, pruning reduces the number of weights by 12× Lenet-5, pruning reduces the number of we...
模型剪枝一：Learning both Weights and Connections for Efficient Neural Networks
cdknight_happy的专栏
12-11 1718
论文：https://arxiv.org/abs/1506.02626
neural network weights_only=False
最新发布
03-22
<think>好的，我现在要回答用户关于神经网络中`weights_only`参数设置为False时的影响的问题。首先，我需要确认`weights_only`参数的具体作用和使用场景。根据之前的知识，这个参数通常出现在模型保存或加载的函数中，比如Keras的`model.save`或`load_model`函数。 用户提到当`weights_only`设置为False时的行为，我需要先回忆这个参数默认情况下是True的情况。通常情况下，当保存模型时，如果`weights_only=True`，则只保存模型的权重，而不包括结构等其他信息。反之，如果设置为False，可能会保存更多内容，比如优化器状态、配置等。但不同框架可能有不同的实现，我需要核实这一点。 接下来，我需要检查提供的引用内容。引用[1]提到构建循环神经网络的步骤，引用[2]展示了预测类的代码，引用[3]是CS231n的课程大纲，引用[4]显示了RNN实现中的一些期望输出值。这些引用中没有直接提到`weights_only`参数，所以可能需要依靠外部知识。 根据Keras的文档，`model.save`函数有一个`save_format`参数，当使用HDF5格式时，保存的内容包括模型结构、权重、训练配置等。而如果使用`save_weights_only=True`在`ModelCheckpoint`回调中，则只保存权重。不过用户的问题中的参数名是`weights_only`，这可能是指某些特定库或函数中的参数，比如PyTorch或TensorFlow的某些功能。 例如，在PyTorch中，`torch.save`默认会保存整个模型的状态字典，包括结构和参数。而如果使用`weights_only=True`在加载时，可能限制只加载权重，但具体参数名可能不同。不过更常见的是在Keras的`load_model`中，可能需要处理自定义对象，这时可能需要传递`compile=False`等参数，而不是`weights_only`。 这里可能存在用户对参数名的混淆，比如`weights_only`是否指的是保存权重还是包含其他内容。需要进一步澄清，但根据常见情况，假设用户指的是在保存或加载时是否仅处理权重。 当`weights_only=False`时，保存的内容可能包括模型结构、优化器状态、训练配置等，这样在加载时可以完全恢复模型，包括继续训练的能力。而设置为True时，仅保存权重，加载时需要重新定义模型结构，再加载权重。 另外，安全方面，某些框架在加载模型时，如果`weights_only=False`可能允许执行任意代码，存在安全风险，因此需要谨慎处理。例如，TensorFlow的`tf.keras.models.load_model`在加载完整的模型时可能会执行自定义层中的代码，而仅加载权重则更安全。 总结起来，`weights_only`参数设置为False时，保存或加载的内容更全面，包括模型结构、优化器状态等，但可能带来安全风险或更大的文件体积。用户需要根据需求选择，如果只需要权重进行推断，可以设为True；如果需要完整恢复训练状态，则设为False。 最后，生成相关问题时要围绕参数的作用、使用场景、安全性和不同框架的实现差异来提问。</think>### 神经网络中`weights_only`参数的作用及设置为False的影响 `weights_only`参数常见于模型保存/加载函数（如Keras的`model.save()`、`load_model()`或PyTorch的`torch.save()`/`torch.load()`），其核心作用是控制是否仅处理权重数据。 #### 1. **当`weights_only=True`时** - 仅保存/加载模型的权重参数（`weights`），不包含模型结构、优化器状态、训练配置等信息。 - **优点**：文件体积小，安全性高（避免执行外部代码）。 - **缺点**：加载时需先手动重建完整模型结构，再加载权重。 #### 2. **当`weights_only=False`时** - **保存内容扩展**：包括模型结构、权重、优化器状态、训练超参数等完整信息[^1]。 - **加载行为**：可直接恢复完整的模型对象（含训练状态），支持无缝继续训练。 - **潜在风险**：若加载来源不可信，可能触发恶意代码执行（如自定义层中的逻辑）[^3]。 #### 3. **典型应用场景** - **`weights_only=False`**：需保存/加载完整训练状态（如断点续训、模型部署）。 - **`weights_only=True`**：仅需权重迁移（如模型蒸馏、跨框架迁移）。 #### 代码示例（Keras） ```python # 保存完整模型（含结构和优化器状态） model.save("full_model.h5") # 默认包含所有信息，相当于weights_only=False # 仅保存权重 model.save_weights("weights_only.h5") # 相当于weights_only=True ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值