我的强化学习模型不收敛这件事！

最新推荐文章于 2025-08-28 17:28:14 发布
转载 最新推荐文章于 2025-08-28 17:28:14 发布 · 1.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzIyNjM2MzQyNg==&mid=2247616813&idx=1&sn=03f202a5d88ca82a42c544edba533e96&chksm=e872d860df05517609e3773d434bf80ad1fb19f02c9d935ab6dd9bcc1be7571895ff52f66dfa&scene=126&&sessionid=0
文章标签：

#人工智能 #机器学习 #强化学习 #python #编程语言

本文由Datawhale作者李rumor撰写，专注于强化学习领域。文章介绍了如何运用强化学习来训练模型，并通过实际案例——使用强化学习玩超级马里奥游戏，展示了强化学习的威力。同时，提供了项目的开源地址，供读者实践和交流。

 Datawhale学习 

作者：李rumor，方向：强化学习

59a16082e6723d361c3ebb7ff939f6af.png

开源地址：

https://github.com/datawhalechina/easy-rl

5b4435b23f4ad2c946be2315d274375e.png

b4f77acedd68d51c23292dedc605a465.png

c0e0a7001c2bbb5e0f8e19fb96fe3a7b.png

f43bd46dba0209fdabc44670861971ad.png

a84fd1dbf713fd4af40fa182c3630593.png

d833a23e1a2392e1bb72ffd1c7a16341.png

2075b28e335d0d19375ef6385101e620.png

285fdda597081addd3dbe52682d5d50b.png

f62516e0e86407c96a28bb22aa9a2353.png

4082e1cd2e0c952256464a0249799671.png

e921e96ffacbb1c00856f7033b6b2d1e.png

4e008910ca180c4ba5a40a6e8a8630a7.png

d48a27b5d7a84490a9830b2897b42047.png

b187f41ec5a2177841380add9ffbe8d3.png

922d2dccb1100914a031f23cd3c0f76d.png

52b1f66b1152d22e21def9cca09b5be0.png

8739a62e375642489d3dcb3db67842c2.png

987f4ebb0b251ec6e58ea76d3615477e.png

1e2710575aa011fa7c3b46ec7a674d9c.png

d2f099dee136bb6521ed9d63fbf5ff76.png

2721e6d835bc2ca5cc4368c4d8a6b1dd.png

我的强化学习模型摆烂了😭

相关学习：用强化学习通关超级马里奥！

参与交流：后台回复 强化学习，加入学习群

d4511677512b5b48d529f7bc29316c14.png

干货学习，点赞三连↓

Datawhale
关注
强化学习中的稳定性与收敛性
AI天才研究院
04-24 1697
强化学习 (Reinforcement Learning, RL) 作为机器学习的一个重要分支，专注于智能体 (Agent) 通过与环境交互学习并优化其行为策略。智能体通过试错的方式，从环境中获得奖励或惩罚信号，并根据这些反馈不断调整策略，以实现长期累积奖励最大化的目标。开发更稳定、更收敛、更高效的 RL 算法。将 RL 应用于更复杂的任务，例如多智能体系统、自然语言处理等。将 RL 与其他技术结合，例如深度学习、迁移学习等。RL 算法通常需要大量的训练数据才能收敛。
（10-1-01）基于模型的强化学习：基于模型和无模型介绍
码农三叔
07-14 1014
基于模型与无模型强化学习比较 摘要：基于模型的强化学习(MBRL)通过构建环境模型预测状态转移和奖励，在模型中进行规划模拟，减少真实环境交互次数，提高学习效率。其优势在于降低高成本场景的采样风险、加速策略学习、提高样本利用率及增强可解释性。无模型强化学习(MFRL)则直接与环境交互学习策略，无需建模，具有实现简单、适应性强和泛化能力好的特点。两类方法各具优势：MBRL适用于模型可构建且交互成本高的场景，MFRL更适合复杂多变环境。目前研究趋势是结合两者优势，如Dyna架构和想象回放等混合方法，通过虚拟经验生
强化学习模型不收敛的改进方向
april_cui的博客
08-12 4889
RL模型不收敛的原因
如何判断强化学习算法是否收敛
热门推荐
rl小透明
03-31 1万+
如何判断强化学习算法是否收敛 1. 策略熵 对于随机性策略（PPO等）可以用策略熵来表示策略是否“确定”。在训练过程中随着策略提升，策略变得越来越确定，此时熵应该是随着逐渐降低的，熵曲线趋于平缓。 2. loss指标（网络收敛好坏） 这是DL中的直观指标，虽然不能直接用在DRL来说明策略好坏，但loss是在一直下降还是已经趋于平缓了，可以一定程度上说明网络模型的学习程度，看模型是“学会了”还是“学废了”，趋于平缓可能就是已经训练差不多了，当然“训练差不多”不代表“策略最优”，有些可能loss还在掉，但
强化学习学习（三）收敛性证明与DDPG
QinZheng7575的博客
07-25 2423
强化学习大多数不是理论收敛的，本文就给出了原因和证明思路。接着我们讨论Double Q-Learning和在连续动作下的强化学习DDPG
强化学习模型评估：Reward与Regret
AI天才研究院
08-06 1480
强化学习模型评估：Reward与Regret 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 强化学习的兴起 1.2 模型评估的重要性
强化学习Reinforcement Learning算法的稳定性与收敛性分析
AI天才研究院
08-01 786
强化学习Reinforcement Learning算法的稳定性与收敛性分析 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍
基于模型的深度强化学习
最新发布
10-06
该框架的主要技术贡献在于，它提供了一种新的深度强化学习实现路径，它能够在不需要环境模型的情况下，依然能够有效地利用基于模型方法的优势。此外，它在实际的机器人系统中的应用也表明，该框架具有很好的泛化能力...
matlab收敛问题,请教一个Matlab神经网络无法收敛的问题
weixin_42365490的博客
03-17 380
如题下面是程序clear allclcp=[ 1520 510 5.155 33.88;1468 521 5.321 35.79;2412 1140 5.32 25.89;1750 129 4.7 23.8;1688 361 4.865 27.08;1607 489 5.1 28.9;1200 127 4.56 19.84;1990 148 4.89 29.373;1509 511 5.12 34...
为什么强化学习（RL）常面临稀疏奖励和收敛慢的问题？
Felaim的博客
02-22 1297
稀疏奖励和收敛慢是RL的核心挑战，根源在于。
判断强化学习的训练是否收敛，以及多智能体强化学习的调试技巧和顺序
lhyyds的博客
08-28 909
强化学习收敛的核心是策略与价值函数的稳定性，需结合奖励曲线、熵、价值函数等多指标判断。MARL调试应遵循“环境→单智能体→多智能体交互→算法组件”的顺序，通过控制变量、可视化和基准对比定位问题，重点处理非平稳环境带来的训练不稳定性。观察奖励曲线：训练过程中，绘制每个 episode 的累计奖励（或平均奖励）曲线。如果奖励趋于稳定且波动较小，通常认为训练已收敛。策略稳定性：多次评估 agent 的策略，若策略输出趋于一致，说明策略收敛。
强化学习笔记：强化学习的约束
qq_40206371的博客
06-05 4838
再举几个例子。AlphaGo Zero 用了 2 千 9 百万局自我博弈，每一局约有 100 个状态和动作。TD3 算法 在 MuJoCo 物理仿真环境中训练 Half-Cheetah、Ant、Hopper 等模拟机器人，虽然只有几个关节需要控制，但是在样本数量 100 万时尚未收敛。甚至 连 Pendulum、Reacher 这种只有一两个关节的最简单的控制问题，TD3 也需要超过 10 万 个样本。 神经网络结构超参数包括层的数量、宽度、激活函数，这些都对结果有很大影响。...
强化学习（Reinforcement Learning）知识整理
神秘少年的博客
02-28 1万+
传送门：https://zhuanlan.zhihu.com/p/25319023 因为准备投入学习 CS294，具体见 知乎专栏，复习了下之前学习 Udacity 和 CS181 中有关强化学习部分的笔记和资料，再看了遍 David Silver 课程的 PPT，整理成了这篇文章。 马尔可夫决策过程（Markov Decision Processes,MDPs） MDP
深度学习神经网络不收敛的 11 个原因
源代码杀手的博客
05-17 1240
参考原文： http://theorangeduck.com/page/neural-network-not-working 参考译文： https://mp.weixin.qq.com/s/KUhVVXM560wS2Z0eUd5GlQ
强化学习(三) - 基于模型学习(DP)
能能
10-17 2861
上一节主要是引入了MDP(Markov decision process)的各种相关的定义与概念。最后得到了 最优状态值函数v∗(s)v_∗(s)v∗​(s) 和 最优状态动作值函数q∗(s,a)q_∗(s,a)q∗​(s,a) 的定义与公式。 若学习任务中的四个要素都已知，即S、A、P、R都已经给出，这样的情形称为 “有模型学习”。 这一节主要是在已知模型的情况下利用动态规划来进行强化学习求解v...
如何判断强化学习训练是否在收敛？
努力学习的！
12-04 4933
参考链接： 1、信息熵 – 针对于策略问题 如果信息熵逐渐降低，表明策略越来越确定，趋于平缓 2、loss指标 – 评价网络收敛的好坏 虽然不能直观的说明策略的好坏，但是loss可以看出网络模型的学习程度。 趋于平缓，训练的差不多了，不代表策略最优 3、reward reward大多数是对于状态之间转移的即时奖励，和整个决策规划的好坏不能直接等价。 在训练过程中，DRL策略在一个episode下的平均奖赏没有明显变化时，可以视为DRL训练近似收敛。 dense reward：也可以换成使用平均rewar
强化学习中的策略梯度算法优化与收敛性分析
KongDere的博客
02-25 894
最简单的策略梯度算法是REINFORCE算法，它通过梯度上升的方式更新策略参数以提高长期回报。在优化策略梯度算法时，一个关键问题是如何平衡探索和利用的关系，以及如何减小梯度估计的方差。综上所述，强化学习中的策略梯度算法是一种重要的优化方法，其优化和收敛性分析是当前研究的热点之一。策略梯度算法的收敛性分析涉及到算法迭代过程中策略参数的更新规则、梯度估计的准确性等方面。与值函数方法不同，策略梯度算法直接对策略进行优化，通过更新策略的参数来最大化长期累积奖励。二、策略梯度算法的收敛性分析。一、优化策略梯度算法。
[强化学习实战]函数近似方法-线性近似与函数近似的收敛性
wangyifan123456zz的博客
10-23 5465
线性近似 最常使用的函数近似就是线性近似和人工神经网络。本节介绍线性近似。线性近似是用许多特征向量的线性组合来近似价值函数。特征向量则依赖于输入（即状态或状态动作对）。以动作价值近似为例，我们可以为每个状态动作对定义多个不同的特征x(s,a)=(xj(s,a):j∈J)x(s,a)=(x_j(s,a):j∈\mathcal{J} )x(s,a)=(xj​(s,a):j∈J)，进而定义近似函数为这些特征的线性组合，即 对于状态函数也有类似的近似方法： 精确查找表与线性近似的关系 对于动作价值而言，可以认为
强化学习不收敛
03-30
### 强化学习模型不收敛的解决方案 强化学习模型不收敛是一个常见的问题，可能由多种因素引起。以下是一些详细的解决方案和调参技巧： #### 1. **调整超参数** 超参数的选择对强化学习模型的表现至关重要。可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值