剪枝 Pruning | 剪枝系统性的介绍（持续更新）

原创 已于 2024-04-08 16:20:24 修改 · 5.3k 阅读 · 56 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#剪枝 #算法 #机器学习 #AI

于 2023-10-26 18:13:35 首次发布
本文详细介绍了如何在Yolov7模型中实施剪枝技术，包括不同类型的剪枝策略（如基于权重大小、批量归一化缩放因子和二阶导数），选择剪枝颗粒度，确定剪枝比例的方法，以及微调训练以优化性能。重点讨论了如何在资源有限的情况下提高模型效率和压缩率。

文章目录

yolov7示例 | 如何写一个剪枝代码？

yolov7示例 | 如何写一个剪枝代码？

1. 剪枝的介绍 (Introduction to Pruning)

什么是剪枝 (What is pruning)?

在这里插入图片描述
在这里插入图片描述

如何用公式定义剪枝 (How should we formulate pruning)?

在这里插入图片描述

2. 选择剪枝的颗粒度 (Determine the Pruning Granularity)

  • 确定剪枝的标准。常见的标准包括基于权重大小的剪枝、基于重要性得分的剪枝（如梯度或二阶导数），或结构化剪枝（去除整个神经元或通道）。
  • 考虑剪枝的具体目标，例如模型压缩、推理加速或内存减少。

Pruning can be performed at different granularities, from structured to non-structured

  • 剪枝 权重 的记住这张图
    在这里插入图片描述
  • 剪枝特征图的记住这张图
    在这里插入图片描述

3. 选择在哪里剪枝 (Determine the Pruning Criterion)

  • 应该剪枝哪个神经元或者突触呢？ What synapses/neurons should we prune?
    选择与标准相符的剪枝方法或算法。例如，可以使用L1或L2正则化进行基于权重大小的剪枝，也可以使用通道剪枝等技术进行结构化剪枝。
    在这里插入图片描述

3.1 应该剪哪个突触呢？ What sysnapses should we prune? (适合CNN)（权重剪枝）

3.1.1 基于权重大小的剪枝 (Magnitude-based pruning)

“Magnitude-based pruning” 它基于神经网络中的参数（通常是权重）的大小来确定哪些参数应该被剪枝，以减小模型的大小和复杂性。该技术的主要思想是去除那些绝对值较小的权重，因为它们对模型的贡献相对较小，而保留那些较大的权重，以维持模

最低0.47元/天 解锁文章
【CVPR 2021】剪枝篇（二）：Convolutional Neural Network Pruning with Structural Redundancy Reduction
梁瑛平的博客
07-29 1390
【CVPR 2021】剪枝篇（二）：Convolutional Neural Network Pruning with Structural Redundancy Reduction论文地址：主要问题：主要思路：理论分析：基本定义：公式和声明： 论文地址： https://arxiv.org/abs/2104.03438 主要问题： 现有的模型剪枝工作通常集中于删除网络中最不重要的卷积核，以实现紧凑的网络结构 在这项研究中作者声称结构冗余比寻找不重要的卷积核起更重要的作用 主要思路： 作者首先从冗余减少的角
LLM基于幅度的裁剪
ZJQ的博客
03-17 112
LLM基于幅度的裁剪 目录 LLM基于幅度的裁剪 原理 举例说明 Python 实现
大模型剪枝系列——基于权重大小剪枝
Arthur Guo 的专栏
09-25 1218
性价比非常高，它用最简单的思想、最低的计算成本，解决了模型压缩这个核心问题中最普遍的部分。尽管它存在理论上的局限性，但在工程实践中，经过迭代微调、正则化以及与激活信息结合等方式的“魔改”后，它依然宝刀不老。尽管从理论上看，梯度剪枝似乎更为“深刻”，但基于权重大小的剪枝凭借其无可比拟的。）探讨了基于梯度的剪枝方法。现在，不妨回归本源，剖析剪枝领域中。基于权重大小的剪枝几乎是所有模型压缩任务的**“第一站”**。，成为了几乎所有模型压缩流程的起点和基石。当前最被广泛认可和使用的高效路径，正是。
模型剪枝详解（一）：认识剪枝
最新发布
m0_59156726的博客
10-15 1184
剪枝是把对最终任务贡献很小的参数/通道/层删除，使模型更小、更快、更省电，同时尽量不掉精度。参数/显存：降低模型大小、加载时间、显存占用。吞吐/延迟：在结构化剪枝或特定稀疏格式支持下显著加速。正则化：一定程度上还能缓解过拟合。
模型轻量化之模型剪枝-Pruning
10-29 4884
学术界的 SOTA 模型在落地部署到工业界应用到过程中，通常是要面临着低延迟（Latency）、高吞吐（Throughpout）、高效率（Efficiency）的挑战。而模型压缩算法可以将一个庞大而复杂的预训练模型转化为一个精简的小模型，从而减少对硬件的存储、带宽和计算需求，以达到加速模型推理和落地的目的。 近年来主流的模型压缩方法包括：模型量化、模型剪枝、知识蒸馏、轻量化网络设计、张量分解等。
模型压缩算法国内外研究现状综述
Joejwu的博客
07-03 3129
剪枝类型参考文章评估指标简介参数驱动[99][100][101][102]基于权值的L1/L2范数[103][104][105]基于BN层的γ参数[106][107]基于BN层的γ参数衍生的缩放因子[108]基于卷积核的谱聚类[109]基于卷积核的几何中位数[110]基于卷积核的相似度数据驱动[111]基于后一层的统计信息[112][113][114]基于激活值最小重构误差[115]基于剪枝前后特征图熵值大小[116]
剪枝Prune
tangweirensheng的博客
09-25 533
剪枝原理性文章
模型剪枝（Pruning)
喜欢打酱油的老鸟
11-27 3485
剪枝有助于实现更紧凑的模型表示。 宽泛而言，剪枝力图删除对输出预测几乎无用的神经元。这一过程通常涉及较小的神经权重，而较大的权重由于在推理过程中具有较高的重要性而会得到保留。随后，可在剪枝后的架构上对网络做重新训练，调优输出。 图 对蒸馏模型知识表示做剪枝的图示 ...
算法剪枝-基于Pytorch的YOLOX目标检测算法剪枝pruning-算法轻量化-附项目源码-优质项目实战.zip
10-20
标题所示文件“算法剪枝-基于Pytorch的YOLOX目标检测算法剪枝pruning-算法轻量化-附项目源码-优质项目实战.zip”涉及到的是深度学习领域中的一个重要技术——算法剪枝，以及在Pytorch框架上对YOLOX目标检测算法进行...
深度学习笔记(九):神经网络剪枝(Neural Network Pruning)详细介绍
源的博客
03-07 1万+
文章目录1:What is pruning2:Pruning in MLP(多层感知机)2.2 How to make mask3.Pruning in CNN(卷积神经网络) 1:What is pruning 剪枝是一种模型压缩的方法，这种方法可以有效的裁剪模型参数且最小化精度的损失。由于深度学习模型可以看作是一个复杂树状结构，如果能减去一些对结果没什么影响的旁枝，也就是修剪神经网络中不重要的权重，就可以实现模型的减小。比如说看下图 我们通过观察这个函数发现有些项对应的系数是很小的，也就是说对于拟合的
结构化剪枝（Structured Pruning）与动态蒸馏（Dynamic Distillation）
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
04-02 1508
结构化剪枝通过的方式去除冗余参数，保留关键子网络。：生成规则稀疏模式（如4×4权重块），便于GPU/TPU等加速器并行计算。：模块化操作更贴近人类对神经网络功能的理解。Sgrad​w∣∣∇w​L∣∣2​Sact​hVarhx))Stotal​α⋅Sgrad​1−α⋅Sact​W∈R16×16通过，使小模型（学生）逐步学习大模型（教师）的全局语义与局部特征，弥补参数量差距带来的性能损失。
L1范数剪枝
03-23
剪枝压缩剪枝压缩剪枝压缩剪枝压缩剪枝压缩剪枝压缩剪枝压缩剪枝压缩剪枝压缩
基于Python的自然语言处理系列（22）：模型剪枝（Pruning）
不想宅的冷同学
10-02 2185
我们将定义一个双向LSTM模型，并将预训练的FastText词向量作为模型的嵌入层权重初始化。我们还可以通过继承类来自定义剪枝方法。下面是一个简单的自定义剪枝示例，剪去张量中的每隔一个元素。在本篇文章中，我们探讨了模型剪枝（Pruning）的多种方法，包括随机剪枝、基于L1范数的剪枝和全局剪枝等。这些技术可以有效减少模型参数量，在不明显降低性能的情况下，显著提升模型的推理效率。剪枝方法的选择应根据模型和任务的特点来决定，不同的剪枝策略适用于不同的场景。
PRUNING-卷积神经网络剪枝
acx0000的博客
09-25 2304
本文提出了一种新的对神经网络中卷积核进行剪枝的算法以实现高效推理。作者交错进行基于贪婪标准的剪枝和通过反向传播的微调，实现了高效的剪枝，并且剪枝后的模型保持了良好的泛化能力。作者提出了一种基于泰勒展开的新的评价标准，该标准近似于修剪网络参数引起的代价函数的变化。与其他标准(例如，对用于细粒度分类的大型CNN使用卷积核或特征图的范数进行剪枝只使用了一阶梯度信息)相比，本文提出的标准性能更好。实验表明，本文算法在理论上可以在基本不影响模型准确率的情况下将3D卷积滤波器的大小压缩超过10倍，本文的算法也适用于基于
【ML】决策树--剪枝处理（预剪枝、后剪枝）
学无止境、积少成多、厚积薄发
01-05 5991
剪枝有两种方案： 预剪枝（prepruning） 后剪枝（post-pruning） 7.1. 预剪枝（prepruning） 预剪枝是指在决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分并将当前结点标记为叶结点。 用通俗的话来说，就是如果进行划分能够带来更好的结果就进行划分，否则不进行划分。首先，我们定义一个训练集和一个验证集如下：（西瓜书中间的例子） 上面一部分是训练集，下面一部分是测试集。然后让我们来对训练集（记住是训练集）进行划分，划分的规
pytorch自带的模型剪枝工具prune的使用
热门推荐
大鱼的博客
10-13 1万+
torch.nn.utils.prune可以对模型进行剪枝，官方指导如下： https://pytorch.org/tutorials/intermediate/pruning_tutorial.html 直接上代码 首先建立模型网络： import torch import torch.nn as nn from torchsummary import summary device = torch.device("cuda" if torch.cuda.is_available() else "
深度学习系列（14）：神经网络剪枝技术（Pruning）详解
Azperk的博客
03-16 1527
神经网络剪枝（Pruning）是通过删除神经网络中冗余的神经元或连接来减少模型的规模和计算量，从而提高模型的推理速度并降低存储需求。剪枝的目标是保持模型的性能，同时通过减少计算资源的消耗来提升效率。去除不重要的连接或神经元：通过评估神经元或连接的重要性，去除那些对模型性能影响较小的部分。提高模型效率：通过剪枝，可以大大减少计算量和内存消耗，尤其在资源受限的环境中非常有用。减少过拟合：剪枝可以通过简化模型来防止过拟合，提高模型的泛化能力。
【PyTorch单点知识】神经元网络模型剪枝prune模块介绍（上，非结构化剪枝）
使者大牙ℂypher的博客
06-24 4135
PyTorch剪枝模块prune介绍（上，非结构化剪枝部分）
Iterative Pruning
u011961856的专栏
08-10 2431
模型剪枝原理 文献通过修剪网络中不重要的权值,减小网络参数,主要分三个步骤: (1)正常训练整个网络. (2)修剪不重要的连接,一般认为权值比较大的比较重要,因此设定一个阈值,剪去小于阈值的权值. (3)重新训练网络,采用稀疏矩阵保存网络参数. 源码分析: 以MNIST CNN 模型为例,下载github源码: git clone https://github.com/
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值