详解torch.nn.utils.clip_grad_norm_ 的使用与原理

已于 2024-10-22 17:21:50 修改
阅读量5.4w 收藏 273
点赞数 108
CC 4.0 BY-SA版权
分类专栏： 收费专栏 文章标签： 深度学习 pytorch 人工智能
于 2022-02-08 11:50:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhaohongfei_358/article/details/122820992

免费链接： Blogger(需翻Q)

文章目录

clip_grad_norm_的原理

本文是对梯度剪裁: torch.nn.utils.clip_grad_norm_()文章的补充。所以可以先参考这篇文章

从上面文章可以看到，clip_grad_norm最后就是对所有的梯度乘以一个clip_coef，而且乘的前提是clip_coef一定是小于1的，所以，按照这个情况：clip_grad_norm只解决梯度爆炸问题，不解决梯度消失问题

clip_grad_norm_参数的选择（调参）

从上面文章可以看到，clip_coef的公式为：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【torch】【clip_grad_norm_】from torch.nn.utils.clip_grad import clip_grad_norm_的详细用法
wq6qeg88的博客
12-06 2364
你可以选择不同的范数类型（L1, L2, or 最大范数）。尤其是在深度学习模型中，梯度爆炸通常发生在较大的梯度更新时，这可能导致模型的训练不稳定。通过限制梯度的 L2 范数（或其他类型的范数），确保每次梯度更新不会过大。，尤其是当梯度值过大时，防止出现数值不稳定或者训练效果差的情况。如果梯度的范数超过了指定的。通过限制梯度的最大范数来避免梯度爆炸问题。，则它会按比例缩放梯度，使得它的范数等于。它会直接修改模型的梯度。，并且保证了梯度的比例缩放。这样，新的梯度范数将等于。（限制）梯度范数的函数。
UserWarning: torch.nn.utils.clip_grad_norm is now deprecated in favor of torch.nn.utils.clip_grad_no
qihshe的博客
01-04 1981
这样做的目的是限制模型参数的梯度范数，以防止梯度过大导致训练不稳定等问题。版本的函数，将在不增加额外内存开销的情况下完成梯度裁剪操作。后缀版本的函数会直接修改张量的梯度值，而不会创建新的副本。函数已被弃用，并推荐使用。在 PyTorch 中，
梯度裁剪：torch.nn.utils.clip_grad_norm_详解
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
10-08 2939
parameters：需要进行梯度裁剪的参数列表。通常是模型的参数列表，即model.parameters()max_norm：可以理解为梯度（默认是L2 范数）范数的最大阈值norm_type：可以理解为指定范数的类型，比如norm_type=1 表示使用L1 范数，norm_type=2 表示使用L2 范数。这个梯度裁剪函数一般来说只需要调整max_norm和norm_type这两个参数。最后就是对所有的梯度乘以一个clip_coef只解决梯度爆炸问题，不解决梯度消失问题。
详讲torch.nn.utils.clip_grad_norm_
LitraLIN的博客
12-07 5844
Pytorch梯度截断：torch.nn.utils.clip_grad_norm_ 梯度裁剪： 既然在BP过程中会产生梯度消失（即偏导无限接近0，导致长时记忆无法更新），那么最简单粗暴的方法，设定阈值，当梯度小于阈值时，更新的梯度为阈值（梯度裁剪解决的是梯度消失或爆炸的问题，即设定阈值），如下图所示： torch.nn.utils.clip_grad_norm_(parameters, max_norm, norm_type=2) 函数定义：裁剪可迭代参数的渐变范数，范数是在所有梯度一起计算的，就好想
如何设置微调模型的各种参数？如何估算和优化微调的显存消耗？
最新发布
大模型训练
06-16 626
包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！😝有需要的小伙伴，可以保存图片到。
【torch】|torch.nn.utils.clip_grad_norm_
qq_35608277的博客
07-05 628
梯度越大，total_norm值越大，进而导致clip_coef的值越小，最终也会导致对梯度的裁剪越厉害，很合理 norm_type不管取多少，对于total_norm的影响不是太大（1和2的差距稍微大一点），所以可以直接取默认值2 norm_type越大，total_norm越小（实验观察到的结论，数学不好，不会证明，所以本条不一定对） clip_coef越小，则对梯度的裁剪越厉害，即，使梯度的值缩小的越多 max_norm越小，clip_coef越小，所以，max_norm越大，对于梯度爆炸的解决越柔和
torch.nn.utils.clip_grad_norm
qq_38261075的博客
12-07 826
可参考：pytorch梯度裁剪（Clipping Gradient）：torch.nn.utils.clip_grad_norm
torch.nn.utils.clip_grad_norm_
kuxingseng123的博客
12-26 693
慢慢的将梯度裁剪，全部都将其搞明白，研究彻底。
torch.nn.utils.clip_grad_norm_()函数详解
m0_46702604的博客
12-10 5844
torch.nn.utils.clip_grad_norm_()函数详解 torch.nn.utils.clip_grad_norm(parameters, max_norm, norm_type=2) 这个函数的主要目的是对 parameters\ parameters parameters里的所有参数的梯度进行规范化;  parameters\ parameters parameters为要规范的参数， max_norm\ max\_norm&nbsp
梯度剪裁: torch.nn.utils.clip_grad_norm_()
热门推荐
Mikeyboi的博客
08-08 3万+
目录前言一、原理二、使用方法总结 前言 当神经网络深度逐渐增加，网络参数量增多的时候，反向传播过程中链式法则里的梯度连乘项数便会增多，更易引起梯度消失和梯度爆炸。对于梯度爆炸问题，解决方法之一便是进行梯度剪裁，即设置一个梯度大小的上限。本文介绍了pytorch中梯度剪裁方法的原理和使用方法。 一、原理 注：为了防止混淆，本文对神经网络中的参数称为“网络参数”，其他程序相关参数成为“参数”。 pytorch中梯度剪裁方法为 torch.nn.utils.clip_grad_norm_(parameters
torch.nn.utils.clip_grad_norm_函数介绍
qq_27390023的博客
10-24 881
用于防止梯度爆炸，确保梯度的范数不会超过设定的阈值。通过指定不同的范数类型，可以对梯度进行不同方式的控制。常用于 RNN、LSTM 等长序列任务以及深层网络中，帮助模型保持训练的稳定性。
【Pytorch】梯度裁剪——torch.nn.utils.clip_grad_norm_的原理及计算过程
capsule的博客
06-26 1万+
Pytorch梯度裁剪函数的计算过程
torch.nn.utils.clip_grad_norm_ 梯度裁剪
weixin_43118280的博客
04-09 1241
Pytorch 梯度裁剪介绍 介绍 直接看源代码吧，源代码比较简单 def clip_grad_norm_( parameters: _tensor_or_tensors, max_norm: float, norm_type: float = 2.0, error_if_nonfinite: bool = False) -> torch.Tensor: r"""Clips gradient norm of an iterable of parameters.
torch之nn.utils.clip_grad_norm
Nicola.Zhang
08-10 1万+
nn.utils.clip_grad_norm(parameters, max_norm, norm_type=2) 这个函数是根据参数的范数来衡量的 Parameters: parameters (Iterable[Variable]) – 一个基于变量的迭代器，会进行归一化（原文：an iterable of Variables that will have gradients normal...
pytorch 笔记：torch.nn.utils.clip_grad_norm_
qq_40206371的博客
11-02 932
用于防止在训练神经网络时出现梯度爆炸的问题。梯度裁剪通过限制梯度的范数来防止梯度的值变得过大。
Pytorch：torch.nn.utils.clip_grad_norm_梯度截断_解读
weixin_42046845的博客
12-21 1513
神经网络深度逐渐增加，网络参数量增多的时候，容易引起梯度消失和梯度爆炸。对于梯度爆炸问题，解决方法之一便是进行梯度剪裁torch.nn.utils.clip_grad_norm_（），**即设置一个梯度大小的上限**。
pytorch梯度裁剪（Clipping Gradient）：torch.nn.utils.clip_grad_norm
Arthur_Holmes的博客
05-09 3725
?1torch.nn.utils.clip_grad_norm(parameters, max_norm, norm_type=2) 1、梯度裁剪原理（http://blog.csdn.net/qq_29340857/article/details/70574528）  既然在BP过程中会产生梯度消失/爆炸（就是偏导无限接近0，导致长时记忆无法更新），那么最简单粗暴的方法，设定阈值，当梯度小于/大于阈值时，更新的梯度为阈值，如下图所示： 优点：简单粗暴 缺点：很难找到满意的...
torch.nn.utils.clip_grad_norm_两个模型
12-27
### 对两个模型应用 `torch.nn.utils.clip_grad_norm_` 在 PyTorch 中，`torch.nn.utils.clip_grad_norm_` 函数可以应用于单个或多个模型的参数。为了对两个不同的模型应用此操作，需要分别调用该函数并传递相应模型的参数。 #### 方法一：单独处理每个模型 对于两个独立的模型，可以在各自的优化器更新之前分别执行梯度裁剪： ```python import torch from torch import nn # 假设有两个模型 model1 和 model2 model1 = nn.Sequential(nn.Linear(10, 5), nn.ReLU()) model2 = nn.Sequential(nn.Linear(5, 2), nn.Sigmoid()) optimizer1 = torch.optim.Adam(model1.parameters(), lr=0.001) optimizer2 = torch.optim.Adam(model2.parameters(), lr=0.001) loss_fn = nn.MSELoss() input_data = torch.randn((8, 10)) target = torch.randn((8, 2)) output1 = model1(input_data) output2 = model2(output1) loss = loss_fn(output2, target) # 清除之前的梯度 optimizer1.zero_grad() optimizer2.zero_grad() # 反向传播损失 loss.backward() # 应用 clip_grad_norm_ max_norm = 1.0 norm_type = 2.0 torch.nn.utils.clip_grad_norm_(model1.parameters(), max_norm=max_norm, norm_type=norm_type)[^1] torch.nn.utils.clip_grad_norm_(model2.parameters(), max_norm=max_norm, norm_type=norm_type) # 更新权重 optimizer1.step() optimizer2.step() ``` 这种方法适用于完全分离的两组网络结构，在实际项目里较为常见。 #### 方法二：组合成单一列表一起处理 如果希望简化代码逻辑或将这两个模型视为整体的一部分，则可以把它们的所有可训练参数收集到同一个列表中再做统一管理： ```python combined_parameters = list(model1.parameters()) + list(model2.parameters()) torch.nn.utils.clip_grad_norm_(combined_parameters, max_norm=max_norm, norm_type=norm_type) ``` 这种方式适合于那些共享某些层或者紧密关联的任务场景下使用。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iioSnail

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值