Pytorch实现模型剪枝

最新推荐文章于 2025-11-10 14:36:42 发布
原创 最新推荐文章于 2025-11-10 14:36:42 发布 · 2.9k 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #深度学习 #pytorch

博主记录了使用pytorch进行模型剪枝的相关内容，提到模型剪枝是将参数变为0，但对参数未减少却称减小模型大小存在疑问，还给出了参考链接。

最近在看剪枝、蒸馏等模型压缩相关的资料，在此简单记录一下如何使用pytorch进行模型剪枝

import torch
import torch.nn as nn
import torch.nn.utils.prune as prune

class model(nn.Module):
	def __init__(self,input_dim,hidden_dim,output_dim):
		super(model,self).__init__(
最低0.47元/天 解锁文章
基于pytorch实现模型剪枝
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
02-24 1502
所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。本文深入描述了 pytorch 框架的几种剪枝 API，包括函数功能和参数定义，并给出示例代码。
深度学习进阶之基于pytorch实现模型剪枝
白话机器学习
10-07 216
torch.nn.utils.prune.is_pruned(module): 判断模块 是否被剪枝。torch.nn.utils.prune.remove(module, name)： 用于将指定模块中指定参数上的剪枝操作移除，从而恢复该参数的原始形状和数值。虽然 PyTorch 提供了内置剪枝API，也支持了一些非结构化和结构化剪枝方法，但是API比较混乱，对应文档描述也不清晰，所以后面我还会结合微软的开源nni工具来实现模型剪枝功能。更多剪枝方法实践，可以参考这个github。
pytorch中的模型剪枝
qunsorber的博客
01-08 3643
自定义剪枝可以自定义一个子类，用来实现具体的剪枝逻辑，比如对权重矩阵进行间隔性的剪枝在剪枝前查看网络结构采用自定义剪枝的方式对局部模块fc3进行剪枝输出结果最后的剪枝效果与实现的逻辑一致。
torch.nn.utils.prune剪枝
最新发布
weixin_48783288的博客
11-10 648
自定义剪枝通过继承来执行剪枝，必须实现__init__和两个函数才能完成自定义的剪枝规则设定# 计算绝对权重值的阈值if k ==0:# 找到第k大的元素作为阈值通过对父类源码的大致了解，我对上面代码的理解是，首先调用custom_pruning函数的时候，会初始化custom_prune，然后再调用父类。
PyTorch 模型剪枝实例教程二、结构化剪枝
十二月未央未眠
04-22 6645
目录1.导包&定义一个简单的网络2.获取网络需要剪枝的模块3.模块结构化剪枝（核心）4.总结 目前大部分最先进的（SOTA）深度学习技术虽然效果好，但由于其模型参数量和计算量过高，难以用于实际部署。而众所周知，生物神经网络使用高效的稀疏连接（生物大脑神经网络balabala啥的都是稀疏连接的），考虑到这一点，为了减少内存、容量和硬件消耗，同时又不牺牲模型预测的精度，在设备上部署轻量级模型，并通过私有的设备上计算以保证隐私，通过减少参数数量来压缩模型的最佳技术非常重要。 稀疏神经网络在预测精度方面可
PyTorch--模型剪枝案例
ssunshining的博客
06-04 4719
根据掩码图对应权重矩阵将对应位置上的值替换为0
如何对pytorch模型进行有效地剪枝
weixin_39326879的博客
06-14 4450
在网络的许多参数中，有些是冗余的，对输出的贡献不大。如果您可以根据神经元在神经网络中的贡献程度对其进行排名，则可以从网络中删除排名较低的神经元，从而使网络更小，更快。 建立更快/更小的网络对于在移动设备上运行这些深度学习网络很重要。可以根据神经元权重的L1 / L2平均值，其平均激活次数，某个验证集上神经元不为零的次数以及其他创造性方法来进行排名。修剪后，准确性将下降（修剪较少，下降不会太大），并且通常会训练网络进行更多的恢复。如果我们一次修剪太多，则网络可能会损坏得太多，无法恢复。 因此在实践中，这是一个
精选资源
基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）
03-06
总结来说，本项目旨在通过模型剪枝降低模型复杂性，模型量化减小模型体积，BN层合并提高效率，最后使用TensorRT优化部署，实现一个在CIFAR数据集上高效运行的深度学习模型。这四个步骤是深度学习模型优化与部署中的...
基于 pytorch 实现模型剪枝
张伟的专栏
10-24 1383
torch.nn.utils.prune.is_pruned(module): 判断模块 是否被剪枝。torch.nn.utils.prune.remove(module, name)： 用于将指定模块中指定参数上的剪枝操作移除，从而恢复该参数的原始形状和数值。虽然 PyTorch 提供了内置剪枝API，也支持了一些非结构化和结构化剪枝方法，但是API比较混乱，对应文档描述也不清晰，所以后面我还会结合微软的开源nni工具来实现模型剪枝功能。更多剪枝方法实践，可以参考这个github。
【pytorch】模型剪枝 model pruning
学渣的博客
04-09 1191
torch.nn.utils.prune 是pytorch用于修剪模型的工具包，其通过 修改将模型某一层的参数进行限定，然后再使用 prune.remove 函数进行修剪，一般来说，修剪参数值较小的参数，模型的性能也不会发生太大变化。但是要注意，本文介绍的都是非结构剪枝，就是哪些被裁剪为0的参数，在经过模型重新训练以后，会重新进行迭代更新，对于结构剪枝，使用本文的方法不适用，建议采用 github 上面的一些库来进行实现。
pytorch模型剪枝
07-17
在cifar数据集上做图像分类的训练，并以此演示怎样进行模型剪枝，pytorch版本必须大于1.4.0
基于pytorch的yolo稀疏训练与模型剪枝
03-05
基于pytorch的yolo稀疏训练与模型剪枝
Pytorch--自己动手实现模型剪枝
qq_40268672的博客
07-15 6688
pytorch剪枝 尽管Pytorch自带了剪枝的工具，但是其在灵活性上终究敌不过自己手写的剪枝代码，以下就是博主模型剪枝的一次简单尝试。 代码: import torch.nn as nn import torch import torch.nn.functional as F from torch import optim from torchvision import datasets,transforms from torch.utils.data import DataLoader device
基于Python的自然语言处理系列（22）：模型剪枝（Pruning）
不想宅的冷同学
10-02 2209
我们将定义一个双向LSTM模型，并将预训练的FastText词向量作为模型的嵌入层权重初始化。我们还可以通过继承类来自定义剪枝方法。下面是一个简单的自定义剪枝示例，剪去张量中的每隔一个元素。在本篇文章中，我们探讨了模型剪枝（Pruning）的多种方法，包括随机剪枝、基于L1范数的剪枝和全局剪枝等。这些技术可以有效减少模型参数量，在不明显降低性能的情况下，显著提升模型的推理效率。剪枝方法的选择应根据模型和任务的特点来决定，不同的剪枝策略适用于不同的场景。
Python 里 PyTorch 的模型剪枝技巧
Python编程之道的博客
04-22 949
在深度学习领域，随着模型规模的不断增大，模型的存储和计算成本也急剧上升。这不仅限制了模型在资源受限设备（如移动设备、嵌入式系统）上的部署，还增加了训练和推理的时间成本。模型剪枝作为一种有效的模型压缩技术，可以在不显著损失模型性能的前提下，减少模型的参数数量和计算量，提高模型的效率。本文的目的是全面介绍 PyTorch 中模型剪枝的技巧，包括剪枝的基本概念、算法原理、实际应用等，帮助读者掌握如何在 PyTorch 中进行模型剪枝，以优化模型性能。背景介绍：介绍模型剪枝的目的和范围，以及预期读者和文档结构。
pytorch深度学习入门（13）之-模型剪枝
ajunbin859的专栏
11-16 1318
prune.l1_unstructured(module, name="weight", amount=nWeightAmcount) #L1范数剪枝，既绝对值最小的权重移除prune.ln_structured(module, name="weight", amount=nFeatureAmcount, n=2, dim=0) #结构化剪枝，移除卷积核。
pytorch自带的模型剪枝工具prune的使用
pangxing6491的博客
06-09 1085
https://blog.youkuaiyun.com/zhou_438/article/details/109053992
优化深度学习模型：PyTorch中的模型剪枝技术详解
2401_85341950的博客
08-19 789
首先，我们需要定义一个模型。return x。
Pytorch~剪枝模型
whaosoft143ai的博客
05-15 480
另外，pytorch 框架还提供了一些帮助函数:torch.nn.utils.prune.is_pruned(module): 判断模块 是否被剪枝。torch.nn.utils.prune.remove(module, name)：用于将指定模块中指定参数上的剪枝操作移除，从而恢复该参数的原始形状和数值。虽然 PyTorch 提供了内置剪枝API，也支持了一些非结构化和结构化剪枝方法，但是API比较混乱，对应文档描述也不清晰，所以后面我还会结合微软的开源nni工具来实现模型剪枝功能。
使用PyTorch实现模型剪枝
05-09
模型剪枝是一种压缩神经网络模型的技术，它可以通过去掉一些冗余的连接和神经元节点来减小模型的大小，从而降低模型的存储和计算开销，同时还可以提高模型的推理速度和泛化能力。 PyTorch是一种非常流行的深度学习框架，它提供了丰富的工具和函数，方便我们实现模型剪枝。下面是使用PyTorch实现模型剪枝的步骤。 1. 导入必要的库和模块 ```python import torch import torch.nn as nn import torch.nn.utils.prune as prune ``` 2. 定义模型 这里以一个简单的全连接神经网络为例： ```python class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(784, 512) self.fc2 = nn.Linear(512, 256) self.fc3 = nn.Linear(256, 10) def forward(self, x): x = x.view(-1, 784) x = nn.functional.relu(self.fc1(x)) x = nn.functional.relu(self.fc2(x)) x = self.fc3(x) return x ``` 3. 添加剪枝方法 ```python def prune_model(model, prune_method=prune.L1Unstructured, amount=0.2): """ 对模型进行剪枝 :param model: 待剪枝的模型 :param prune_method: 剪枝方法，默认为 L1Unstructured，也可以是 L2Unstructured 或者 RandomUnstructured 等 :param amount: 剪枝比例，即要去掉的参数的比例 """ # 对模型进行遍历，找到所有可以进行剪枝的层 for module in model.modules(): if isinstance(module, nn.Linear): prune_method(module, name="weight", amount=amount) # 对 weight 进行剪枝 ``` 4. 加载数据集和训练模型 这里不再赘述，可以参考 PyTorch 官方文档。 5. 对模型进行剪枝 ```python # 加载训练好的模型 model = Net() model.load_state_dict(torch.load("model.pth")) # 打印模型大小 print("Before pruning:") print("Number of parameters:", sum(p.numel() for p in model.parameters())) # 对模型进行剪枝 prune_model(model) # 打印剪枝后的模型大小 print("After pruning:") print("Number of parameters:", sum(p.numel() for p in model.parameters())) # 保存剪枝后的模型 torch.save(model.state_dict(), "pruned_model.pth") ``` 6. 评估和测试模型 同样可以参考 PyTorch 官方文档。 以上就是使用PyTorch实现模型剪枝的基本步骤，可以根据具体的需求进行调整和改进。
评论 8
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值