训练不收敛的几种可能

最新推荐文章于 2025-03-24 17:15:14 发布
原创 最新推荐文章于 2025-03-24 17:15:14 发布 · 5.8k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

1. 学习率 

我们可能已经听说了很多，如果loss不收敛就将学习率降低。但是，这在重新训练时是个误区，尤其是在训练的开始阶段。在开始阶段我们不能把学习率设置的太低否则loss不会收敛。我的做法是逐渐尝试，从0.1,0.08,0.06,0.05 ......逐渐减小，如果学习率设置的过大，loss会直接爆炸变成87.33（原因可参考：http://blog.csdn.NET/jkfdqjjy/article/details/52268565?locationNum=14）我们逐渐减小学习率，直到loss正常为止。我们可以用第一个最大值训练网络，开始时loss下降很慢，可能要等到迭代3万次左右才有明显变化，耐心等待。当训练时发现loss不再下降，这时我们可以再降低学习率，继续训练。

影响loss收敛性的因素有很多，还没有一一尝试。dropout_ratio,batchsize等。

2. 数据未归一化


3. 网络结构不合理

深度学习训练时网络不收敛的原因分析总结
comway_Li的博客
08-20 4万+
很多同学会发现，为什么我训练网络的时候loss一直居高不下或者准确度时高时低，震荡趋势，一会到11，一会又0.1，不收敛。 又不知如何解决，博主总结了自己训练经验和看到的一些方法。 首先你要保证训练的次数够多，不要以为一百两百次就会一直loss下降或者准确率一直提高，会有一点震荡的。只要总体收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，则试试下面方法： 1. 数据...
机器学习25:可能导致训练网络不收敛的几种原因
weixin_39504171的博客
02-17 1704
机器学习25:可能导致训练网络不收敛的几种原因 1.可能导致训练网络不收敛的几个原因： （1）没有做数据归一化； （2）没有检查过预处理结果和最终的训练测试结果； （3）没有做数据预处理； （4）没有使用正则化； （5）Batch Size设的太大； （6）学习率设的不合适； ...
【深度学习】神经网络训练过程中不收敛或者训练失败的原因
TwcatL_tree
11-27 1555
在面对模型不收敛的时候，首先要保证训练的次数够多。在训练过程中，loss并不是一直在下降，准确率一直在提升的，会有一些震荡存在。train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问题。train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;train loss 不断下降，test loss不断下降，说明网络仍在学习;train loss 不断下降，test loss趋于不变，说明网络过拟合;
每日一问02——在训练过程中，若一个模型不收敛，是否说明这个模型无效？导致模型不收敛的原因有哪些？
白羊by的博客
06-18 3099
在训练过程中，若一个模型不收敛，是否说明这个模型无效？导致模型不收敛的原因有哪些？
深度学习训练过程自查：为什么我的模型不收敛/表现不佳？
Cleo_Gao的博客
12-07 4356
代码终于写完了，bug 处理好了，终于跑起来了。但是模型不收敛。或者收敛了，但是加 trick 也表现不良。于是开始思考，为什么？哪里出了问题？因此就整理了这个文章，用来辅助自查模型到底哪里出了问题。（有时候是模型结构的问题，有时候真的是因为过度关注模型结构，每次写训练代码都是套模板，不往心里去，其实是训练过程有问题）
模型训练中——模型不收敛或训练失败的原因
weixin_44737266的博客
07-18 1万+
训练过程中模型不收敛，应该怎么做，原因有哪些？ 分以下几步走： (1)要保证训练的次数够多，若训练次数够多没收敛，则进行(2) (2)考虑采取措施解决 一、数据与标签 (1)没有对数据进行预处理。 数据分类标注是否准确？数据是否干净？ (2)没有对数据进行归一化。 不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。 大部分神经网络流程都假设输入输出是在0附近的分布，从权值初始化到激活函数、从训
神经网络不收敛的原因
weixin_39586997的博客
07-13 1359
目录 1. 忘记对你的数据进行归一化 2. 忘记检查输出结果 3. 没有对数据进行预处理 4. 没有使用任何的正则化方法 5.使用了一个太大的 batch size 6. 使用一个错误的学习率 7. 在最后一层使用错误的激活函数 8. 网络包含坏的梯度 9. 网络权重没有正确的初始化 10. 使用了一个太深的神经网络 11. 隐藏层神经元数量设置不正确 12.样本太小导致过拟合 13.网络设定不合理 14.通过training loss和test loss分析网络当下的状态
如何判断训练中的模型已经收敛
热门推荐
qq_36230981的博客
02-25 2万+
3.模型收敛：train loss 下降趋于稳定，val loss 下降也趋于稳定，且train loss 的值与val loss 的值相差不大。5.train loss上升，val loss上升：网络结构设计有问题，或者训练参数设置不当等，及时停止学习，调整代码。4.train loss稳定，val loss稳定：可能已经收敛，或者学习遇到瓶颈，可以调小学习率试试。1.train loss 下降，val loss下降： 表明网络还在学习。2. train loss下降，val loss稳定：网络过拟合。
FCN训练不收敛的原因分析和最详细的FCN训练与测试自己的数据程序配置
jiongnima的博客
11-16 1万+
本文分析了FCN训练不收敛的原因并给出了解决方案。 同时给出了详尽的完善的FCN训练与测试程序配置，欢迎阅读与分享。
强化学习笔记：强化学习的约束
qq_40206371的博客
06-05 4656
再举几个例子。AlphaGo Zero 用了 2 千 9 百万局自我博弈，每一局约有 100 个状态和动作。TD3 算法 在 MuJoCo 物理仿真环境中训练 Half-Cheetah、Ant、Hopper 等模拟机器人，虽然只有几个关节需要控制，但是在样本数量 100 万时尚未收敛。甚至 连 Pendulum、Reacher 这种只有一两个关节的最简单的控制问题，TD3 也需要超过 10 万 个样本。 神经网络结构超参数包括层的数量、宽度、激活函数，这些都对结果有很大影响。...
训练网络不收敛方法
u010451780的专栏
03-09 1317
很多同学会发现，为什么我训练网络的时候loss一直居高不下或者准确度时高时低，震荡趋势，一会到11，一会又0.1，不收敛。 又不知如何解决，博主总结了自己训练经验和看到的一些方法。 首先你要保证训练的次数够多，不要以为一百两百次就会一直loss下降或者准确率一直提高，会有一点震荡的。只要总体收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，则试试下面方法： 1. 数据...
深度学习训练出来的损失不收敛_学习率设置技巧，使用学习率来提升我们的模型...
weixin_39977886的博客
11-23 989
作者：Vitaly Bushaev编译：ronghuaiyang导读学习率是深度学习中非常重要的超参数之一，也是我们会经常调整的超参数，通过这篇文章，我们会了解一些技巧，只是通过对学习率的设置，就能够获得性能的提升，是不是很酷?I. 介绍大多数优化算法(如SGD、RMSprop、Adam)都需要设置学习率：这是训练深度神经网络最重要的超参数。选择学习率的简单方法是尝试一堆数字，然后使用看起来效果最...
强化学习模型不收敛的改进方向
april_cui的博客
08-12 4355
RL模型不收敛的原因
DDPG：基于深度强化学习的连续控制（ICLR 2016）
dckwin的博客
04-01 3078
摘要 我们将“深度Q学习（Deep Q-learning）”成功的基础思想应用于连续动作领域。我们基于确定性策略梯度（Deterministic Policy Gradient，DPG），提出了一种基于演员评论家（Actor-critic），无模型（model-free）的算法，该算法能应用在连续动作空间。我们进一步证明，对于许多任务，算法可以学习“端到端”策略：直接从原始像素输入。 引言 D...
【DDPG】走过的坑,致力于解决action不变化的问题
panbaoran913的博客
11-22 6343
记录一下DDPG/GDDPG训练中出现的问题 初始化部分: self.actor_eval = ActorNet(s_dim, a_dim) self.actor_target = ActorNet(s_dim, a_dim) self.critic_eval = CriticNet(s_dim, a_dim) self.critic_target = CriticNet(s_dim, a_dim) # create 2 optimizers for actor and critic self.
为什么我的DDPG算法结果堪忧？
wolves_fly的博客
03-24 193
DDPG训练效果不佳，求助
DDPG的常见问题与解决方案：排查错误与优化技巧
AI天才研究院
05-14 1604
1. 背景介绍 1.1 深度强化学习的兴起与挑战 深度强化学习（Deep Reinforcement Learning，DRL）作为人工智能领域的新兴技术，近年来取得了显著的进展，在游戏、机器人控制、自然语言处理等领域展现出巨大的应用潜力。然而，DRL算法的训练过程往往面临诸多挑战，例如：
总结一些loss不收敛的解决方法
print_lzp的博客
11-04 6894
总结一些loss不收敛的解决方法 经常遇到的两种情况： 1.loss一直在震荡， 2.loss下降一点后不再下降到理想水平，而验证集上的表现保持不变。 保持需要的batchsize不变。 查看是否有梯度回传。 查看数据是否有问题，如标签错乱，归一化等。 调节学习率，从大向小调，每次除以5或者10 如果学习率调好后，需要调节batchsize大小，如batchsize调大2倍，则将学习率对应调大，反之，学习率对应调小。 权重初始化方案（全零初始化、随机正态分布初始化和随机均匀分布初始化等） 正则化过度（当训
yolov11训练不收敛
最新发布
03-26
### YOLOv11 模型训练不收敛的解决方案 在处理YOLOv11模型训练过程中出现的不收敛问题时，可以从以下几个方面入手分析并解决问题： #### 1. **调整学习率** 如果损失函数一直波动而未趋于稳定，则可能是由于学习率设置过高所致。降低学习率是一种常见的解决方法[^2]。可以通过逐步减少初始学习率的方式观察其效果。例如，在配置文件中将 `lr` 参数调低至原来的十分之一甚至更低。 ```yaml # 配置文件中的学习率部分 initial_lr: 0.001 -> 修改为 initial_lr: 0.0001 ``` #### 2. **增加批量大小 (Batch Size)** 除了降低学习率外，还可以尝试增大批次大小（Batch Size），这有助于平滑梯度更新过程，进而使优化器更易于找到全局最优解或局部极小值点。不过需要注意的是，过大的 Batch Size 可能会占用过多显存资源，因此需根据硬件条件合理设定。 #### 3. **数据预处理与归一化** 确保输入到网络的数据经过充分标准化是非常重要的一步。未经适当归一化的图像可能会导致数值不稳定现象发生，最终影响整个系统的稳定性表现。对于目标检测任务而言，通常采用如下方式完成像素级归一操作: ```python import torch from torchvision import transforms transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) image_tensor = transform(image).unsqueeze(0) ``` 上述代码片段展示了如何利用 PyTorch 提供的功能实现图片转换成张量形式以及执行均值方差规范化的过程。 #### 4. **重新审视损失函数设计** 正如之前提到过的那样，在其他架构要素均已调试完毕之后再考虑更改成本计算公式不失为明智之举[^1]。针对特定应用场景定制专属版本可能带来意想不到的好处；然而在此之前务必确认当前所使用的默认选项确实存在缺陷才行。 另外值得注意的一点是，某些情况下即使选择了合适的算法也可能因为初始化不当等原因造成初期阶段难以有效下降的情况。对此可引入 warm-up 策略帮助缓解这一状况——即刚开始几轮迭代期间缓慢升高实际生效的学习速率直到达到预定水平为止。 #### 5. **检查权重保存路径及相关错误** 最后别忘了核查是否有任何潜在的技术障碍阻碍正常流程运转。比如文中提及的一个典型例子便是关于编码格式方面的冲突引发异常终止事件[^3]。为了避免此类情况再次重现，建议始终遵循统一标准进行文档读写活动，并及时捕获可能出现的各种例外情形加以妥善处置。 通过综合运用以上措施应该能够显著改善现有困境下的性能指标达成预期成果。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值