深度学习模型训练问题记录之梯度爆炸

已于 2024-10-15 20:42:51 修改
阅读量307 收藏
点赞数 2
文章标签： 深度学习 人工智能
于 2024-09-29 11:12:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42559117/article/details/142631191
版权

问题描述

模型训练的过程中损失值很大，且反复震荡不下降

解决方法

  1. 给模型都加参数初始化，权重参数使用 kaiming_uniform_，偏置参数使用0初始化
  2. 调大dropout率
  3. 给模型中间层增加BatchNorm/LayerNorm

结果

在改变dropout值和增加归一化层之后，问题没有得到有效解决，但是加入模型参数初始化之后，问题得到了有效解决

结论

最有用的可能是权重参数初始化，也足以看到初始化的重要性

[nlp] grad norm先降后升再降
心宝的博客
11-16 3760
在深度学习中，梯度的范数通常被用来衡量模型参数的更新程度，也就是模型的学习进度。在训练初期，由于模型参数的初始值比较随机，梯度的范数可能会比较大，这是正常现象。随着模型的训练，梯度的范数通常会逐渐减小，直到收敛到一个较小的值。如果梯度的范数出现了不正常的变化，例如一直上升或一直下降，可能意味着模型存在问题，需要进行调整。例如，可以尝试调整模型的超参数，在某些情况下，梯度的范数可能会先下降，然后上升再下降，这也是正常现象。此外，还可以尝试使用不同的优化器或损失函数来训练模型，以寻找更好的训练效果。
第34篇：深度学习模型训练过程中的监控与调试：原理与实践
Gemini的博客
07-13 371
本文详细讲解了深度学习模型训练过程中的监控与调试方法，包括如何使用TensorBoard和WandB进行训练过程的监控，介绍了数据处理、可视化数据、检查模型结构、检查损失函数和优化器、使用梯度检查等常见的调试方法，以及如何使用PyTorch自带的调试工具和PDB进行调试。
NNDL 实验七 循环神经网络（2）梯度爆炸实验
fangerfang？
11-24 658
范数(norm)是线性代数中的一个基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式，它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。划重点：非负性、齐次性、三角不等式。外文名：n o r m normnorm作用：常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。记号：f ( x ) = ∥ x ∥我们常用表示具体范数，其中下标s y m b symbsymb是区分范数的助记符号，如、、、范数。
模型微调中的梯度爆炸问题
每天与代码斗智斗勇的秃头攻城狮，用技术干货换您的打赏续命。
03-29 285
在微调大模型时，梯度更新不稳定导致训练中断（如 loss 突然激增），尤其是使用 AdamW 优化器时。通过梯度裁剪 + 学习率预热，训练稳定性提升 67%，收敛速度加快 30%。
训练快了，但不收敛怎么办？大模型收敛策略与损失震荡排查指南
努力分享一些人工智能相关的知识干货！
04-14 811
你终于搞定了多卡并行、混合精度、显存优化，模型跑起来了，却发现 —— **loss 根本不降、甚至 nan**？ > 是 batch size 太小？是学习率太高？还是 LayerNorm 没配好？ > 本篇聚焦「大模型收敛性」这个工程师最容易忽视的关键点，从**常见震荡原因 → 超参调优策略 → 结构稳定性设计 → 实战排查工具链**， > 帮你从“不收敛”走向“快收敛、稳收敛、可复现”
微调模型，grad_norm巨大无比，然后变成nan，loss变为0.0的处理方式
shshshshauy的博客
10-10 1798
将deepspeed的配置文件中，overlap_comm选项设置为false。网上很多教程都在复制粘贴，没一点用。如果你走投无路了，试试我这个方法。
【torch】|torch.nn.utils.clip_grad_norm_
qq_35608277的博客
07-05 605
梯度越大，total_norm值越大，进而导致clip_coef的值越小，最终也会导致对梯度的裁剪越厉害，很合理 norm_type不管取多少，对于total_norm的影响不是太大（1和2的差距稍微大一点），所以可以直接取默认值2 norm_type越大，total_norm越小（实验观察到的结论，数学不好，不会证明，所以本条不一定对） clip_coef越小，则对梯度的裁剪越厉害，即，使梯度的值缩小的越多 max_norm越小，clip_coef越小，所以，max_norm越大，对于梯度爆炸的解决越柔和
PyTorch深度学习的梯度消失和梯度爆炸的识别、解决和最佳实践
weixin_30777913的博客
03-06 948
通过结合梯度监控、网络架构改进和优化策略，可以有效应对梯度消失/爆炸问题。建议在模型开发初期就加入梯度监控机制，这有助于快速定位问题层。对于超深网络（>50层），建议优先考虑使用预激活残差结构（ResNet-v2）。
梯度爆炸 与 梯度消失
最新发布
Rhett_Butler0922的博客
05-17 808
梯度爆炸是指在神经网络训练过程中，反向传播时计算的梯度值变得非常大（趋向于无穷大），导致模型参数更新过大，损失函数值剧烈震荡甚至发散，最终模型无法收敛。直观理解：想象你在调整一个滑块来优化某个目标，但每次调整的幅度都过大，导致滑块完全偏离目标位置，甚至“飞出去”。梯度爆炸：梯度过大，导致参数更新过大，损失震荡或发散。解决方法包括梯度裁剪、权重初始化、降低学习率、使用稳定优化器。梯度消失：梯度过小，导致参数更新缓慢，训练停滞。
不可或缺的10条提高深度学习模型准确率的技巧
AI天才研究院
09-15 4678
作者：禅与计算机程序设计艺术 1.简介 机器学习一直是一个热门的话题。深度学习技术在很长时间内都扛起了机器学习领域的“重任”，成为了最具挑战性和颠覆性的技术。如何训练一个优秀的深度学习模型，成为了许多开发者和研究人员面临的问题。本文将通过对10个重要的提高深度学习模型准确率的技巧进行系统讲解，帮助开发者
【深度学习模型的部署和集成】部署深度学习模型到实际生产环境中的一些经验和方法 Deploying and Integrating Deep Learning
AI天才研究院
08-02 973
在深度学习火爆的今天，部署一个深度学习模型到生产环境中是非常重要的一环。部署包括训练好的模型、配置文件、数据处理流程等一系列的文件都需要准备好并保存在合适的位置，然后通过调用库或者接口加载这些文件并运行预测任务。而在生产环境中，因为需求的变化，数据量的增长，以及机器资源的不断增加，部署模型变得十分复杂，如何保证服务的稳定性、高可用性，以及快速响应，成为了非常重要的问题。因此，对于部署深度学习模型到实际生产环境中的一些经验和方法，我们将分享给大家。
深度学习调参经验
Xwei1226的博客
06-29 8778
做dl也有一段时间了，积累了一些经验，也在网上看到一些别人的经验。 为了面试，结合知乎上面的问答，我也总结了一下，欢迎大家补充。知乎 深度学习调参有哪些技巧？一. 初始化 有人用normal初始化cnn的参数，最后acc只能到70%多，仅仅改成xavier，acc可以到98%。二.从理解CNN网络以产生直觉去调参数的角度考虑，应该使用可视化 可视化（知乎用户 杨军）1.Visualize Laye...
详解大模型微调全流程
zenRRan的博客
03-09 1122
作者：1050Ti全量微调.，东北大学软件工程原文：https://zhuanlan.zhihu.com/p/684691249声明：本文只做分享，版权归原作者，侵权私信删除！编辑：青稞AI微调实战经历本次微调经验分享依据于我们在2023年参加的“第2届·百度搜索创新大赛——搜索答案组织”整个比赛过程。我们团队选择的基座模型是ChatGLM3-6B-Base模型，训练数据集为官方提供的数据集（90...
GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks 论文阅读笔记
tsq292978891的博客
04-25 3270
GradNorm 不同任务的的梯度幅度大致相同 平衡不同任务的训练速率 梯度幅度和训练速率的定义 梯度幅度 首先是选模型的哪块参数来做梯度统计，这里选取的是所有任务共享层的最后一层。然后，通过计算每个任务loss相对于最后共享层的梯度的2范数，作为每个任务的梯度幅度表示，此外还计算了每个任务的梯度幅度，算一个均值，得到某次训练的梯度平均幅值。 训练速率 怎么去定义任务收敛的快慢，也即训练速率，论文这里用的是loss比，通常来说，网络最开始随机预测，此时loss最大，记为L(0)，然后以任务i在t时刻
梯度裁剪torch.nn.utils.clip_grad_norm_
orangerfun的博客
09-20 1663
1. 作用 防止梯度爆炸，即设置一个梯度大小的上限，当梯度的范数大于上限时，将该参数的范数设置为上限。 补充：范数 最常用的是p-范数，若向量x=[x1,x2,⋯ ,xn]Tx=\left[x_{1}, x_{2}, \cdots, x_{n}\right]^{\mathrm{T}}x=[x1​,x2​,⋯,xn​]T，则p范数定义如下 ∥x∥p=(∣x1∣p+∣x2∣p+⋯+∣xn∣p)1p \|x\|_{p}=\left(\left|x_{1}\right|^{p}+\left|x_{2}\right|
一图搞懂 LLM 全流程训练加速：TP / PP / ZeRO / QLoRA 全栈融合实践指南
努力分享一些人工智能相关的知识干货！
04-14 804
单靠 Data Parallel 已经喂不动大模型了？别怕，这一篇教你组合拳全拉满。 > 本文以「结构图 + 模块解构 + 落地实操」三段式，带你吃透 LLM 全流程训练中的主流加速策略：**张量并行（TP）、流水线并行（PP）、显存优化黑科技 ZeRO，以及微调之王 QLoRA**。 > 从显存爆炸 → 显卡分组 → 大模型拆层 → 显存分片 → 插 LoRA 微调头，这一套组合拳怎么配最省？本文一次讲清。
梯度爆炸解决方案——梯度截断（gradient clip norm）
热门推荐
Mona-abc的博客
07-30 1万+
如果梯度超过阈值，那么就截断，将梯度变为阈值 from torch.nn.utils import clip_grad_norm pytorch源码 默认为l2（norm type）范数，对网络所有参数求l2范数，和最大梯度阈值相比，如果clip_coef<1，范数大于阈值，则所有梯度值乘以系数。 使用： optimizer.zero_grad() lo...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值