pytorch剪枝

原创

已于 2024-04-01 11:20:01 修改 · 999 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #剪枝 #人工智能

于 2024-04-01 11:19:07 首次发布

原文：https://blog.51cto.com/u_16213398/10059574

Pytorch剪枝实现指南

指南概述

在这篇文章中，我将向你介绍如何在PyTorch中实现模型剪枝。剪枝是一种优化模型的技术，可以帮助减少模型的大小和计算量，同时保持模型的准确性。我将为你提供一个详细的步骤指南，并指导你如何在每个步骤中使用适当的PyTorch代码。

整体流程

下面是实现PyTorch剪枝的整体流程，我们将按照这些步骤逐步进行操作：

步骤	操作
1.	加载预训练模型
2.	定义剪枝算法
3.	执行剪枝操作
4.	重新训练和微调模型
5.	评估剪枝后的模型性能

步骤详解

步骤1：加载预训练模型

首先，我们需要加载一个预训练的模型作为我们的基础模型。在这里，我们以ResNet18为例。

impor

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

javastart

关注关注

6
点赞
踩
10

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

基于pytorch实现模型剪枝

专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。

02-24

1417

所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。本文深入描述了 pytorch 框架的几种剪枝 API，包括函数功能和参数定义，并给出示例代码。

【开源】三行代码对pytorch模型进行剪枝压缩

梁瑛平的博客

04-24

2853

【开源】三行代码对pytorch模型进行剪枝压缩pytorch-Autoslim2.01 Introduction 项目介绍① Architecture 系统架构2 Support 支持度① Supported Models 支持的模型② Pruning Algorithm 剪枝算法3 Installation 安装4 Instructions 使用介绍Automatic Pruning 自动化剪枝5 Examples 使用案例①Resnet-cifar10Train 训练Pruning 剪枝Train 微

2 条评论您还未登录，请先登录后发表或查看评论

pytorch中的模型剪枝

qunsorber的博客

01-08

3551

自定义剪枝可以自定义一个子类，用来实现具体的剪枝逻辑，比如对权重矩阵进行间隔性的剪枝在剪枝前查看网络结构采用自定义剪枝的方式对局部模块fc3进行剪枝输出结果最后的剪枝效果与实现的逻辑一致。

模型剪枝代码

nszzzzdr的博客

01-14

468

可以在单层、多层或整个模型中进行。分为结构化剪枝和非机构化剪枝。指在模型中直接剪掉一些不重要的参数，从而减少模型的。这种剪枝方式不考虑模型的结构，只关注参数的重要性。模型剪枝是指减少神经网络中的。

pytorch模型剪枝

07-17

在cifar数据集上做图像分类的训练，并以此演示怎样进行模型剪枝，pytorch版本必须大于1.4.0

YOLOv5系列(四十五) 模型剪枝与Pytorch剪枝策略

专注于人工智能学习，总结

12-10

2736

详细内容见参考资料1,2剪枝就是通过去除网络中冗余的channels,filters, neurons, or layers以得到一个更轻量级的网络，同时不影响性能。网络剪枝的步骤神经网络中的一些权重和神经元是可以被剪枝的，这是因为这些权重可能为零或者神经元的输出大多数时候为零，表明这些权重或神经元是冗余的。

pytorch 剪枝

08-19

基于pytorch的yolo稀疏训练与模型剪枝

03-05

针对这些问题，"基于PyTorch的YOLO稀疏训练与模型剪枝"提供了有效的解决方案，旨在减少模型的冗余，提高运行效率，同时保持或提升模型性能。稀疏训练（Sparse Training）是让模型在训练过程中学习到稀疏权重，即大...

基于pytorch的模型剪枝量化

xiaomu_347的博客

03-07

958

这个网络的写法应该是很常见的，结构非常简单。，由于 FX 可以自动跟踪 forward 里面的代码，因此它是真正记录了网络里面的每个节点，在 fuse 和动态插入量化节点方面，要比 Eager 模式强太多。这一套流程下来不可谓不繁琐，而且，这只是一个相当简单的网络，遇上复杂的，或者是别人天马行空写完丢给你量化的网络，分分钟可以去世。，由于它只会对 init 函数里面定义的模块进行替换，因此，如果有一些 op 没有在 init 中定义，但又在 forward 中用到了（比如上面代码的。

pytorch_YOLOX剪枝【附代码】

z240626191s的博客

07-04

5132

本项目是在b站up主Bubbliiiing和原YOLOX官方代码进行了整合。支持剪枝、网络中间层可视化、卷积和bn层的融合加速、ema、日志文件管理等功能。

pytorch-pruning 网络剪枝数据集测试集

04-21

这个是https://download.youkuaiyun.com/download/weixin_32759777/12346888这个代码的测试数据集

pytorch-pruning 网络剪枝数据集的训练集1

04-21

https://download.youkuaiyun.com/download/weixin_32759777/12346888这个代码的训练集1

模型压缩之通道剪枝channel-pruning-master.zip

08-01

对训练好的模型进行通道剪枝（channel pruning），分为两步进行：第一步是channel selection，采用LASSO regression来做，其实就是添加了一个L1范数来约束权重，因为L1范数可以使得权重更加稀疏，这样就可以把那些稀疏的channel剪掉；第二步是reconstruction，基于linear least squares来约束剪枝后输出的feature map要尽可能和减枝前的输出feature map相等，也就是最小二乘值越小越好。

基于BatchNorm的模型剪枝【详解+代码】

qq_23022733的博客

02-08

2882

如下图所示，每个conv-layer会被计算相应的channel scaling factors，然后根据channel scaling factors筛选conv-layer，达到模型瘦身的作用，图中的1.170，0.001，0.290等就是下面我们将要介绍的学习参数。L2求导为：θ，梯度下降过程越来越慢，相应的权重参数都接近0，起到平滑的作用，值是1.17，1.16，1.15等，那如何筛选比较重要的。图中的1.170，0.001，0.290等就是学习参数。越小，其对应的特征图越不重要，

Pytorch~剪枝模型

whaosoft143ai的博客

05-15

358

另外，pytorch 框架还提供了一些帮助函数:torch.nn.utils.prune.is_pruned(module): 判断模块是否被剪枝。torch.nn.utils.prune.remove(module, name)：用于将指定模块中指定参数上的剪枝操作移除，从而恢复该参数的原始形状和数值。虽然 PyTorch 提供了内置剪枝API，也支持了一些非结构化和结构化剪枝方法，但是API比较混乱，对应文档描述也不清晰，所以后面我还会结合微软的开源nni工具来实现模型剪枝功能。

模型剪枝

qq_35608277的博客

07-19

337

https://blog.youkuaiyun.com/jacke121/article/details/79450321

模型剪枝大瘦身代码实战案例

Allen_人工智能与大数据

07-09

1812

文章的核心在于，将BN层中的可学习参数gamma，作为稀疏化参数，对CNN卷积之后提取保留更有用的特征图的方法进行模型剪枝大瘦身。

【pytorch】模型剪枝 model pruning

学渣的博客

04-09

1020

torch.nn.utils.prune 是pytorch用于修剪模型的工具包，其通过修改将模型某一层的参数进行限定，然后再使用 prune.remove 函数进行修剪，一般来说，修剪参数值较小的参数，模型的性能也不会发生太大变化。但是要注意，本文介绍的都是非结构剪枝，就是哪些被裁剪为0的参数，在经过模型重新训练以后，会重新进行迭代更新，对于结构剪枝，使用本文的方法不适用，建议采用 github 上面的一些库来进行实现。

模型轻量化之模型剪枝-Pruning