我的强化学习模型不收敛这件事！

Wang_AI Wang_AI 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1k累计阅读 1k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄12年
关注
转载 最新推荐文章于 2026-03-21 01:28:17 发布 1k 阅读 AI 写同款· GEO 优化 ›
避坑指南：为什么你的多智能体强化学习项目总是不收敛？ 本文深入探讨了多智能体强化学习（MARL）项目不收敛的常见原因及解决方案。从非平稳性环境、纳什均衡挑战到架构选择，分析了MARL特有的动力学问题，并提供了实用的收敛加速技术和调试清单，帮助开发者有效解决训练不稳定的难题。 阅读详情

 Datawhale学习 

作者：李rumor，方向：强化学习

0cf5fb046946b704e1eee46db7c95403.png

开源地址：

https://github.com/datawhalechina/easy-rl

bcbf9fef1607351297e7425e43019c49.png

799bf5912822b458d650f122169228e8.png

f50ce0e0549b2bb1eaeecad1893014e4.png

0fa5d082b5357bce7488eda4293111b0.png

999a7f6e8911597ade846c1f357e59fc.png

e0f62c06caa79dd51f93be5b280f8eaa.png

cd958ff8a80645015d7c5b1e0c14beed.png

043bba017066b159f5f130e48170d8cd.png

72ddf9f46066e07d341f43892750a876.png

12217af2b31192c686320b59f555eb9e.png

08874e76e49fa02a42ce6b7f82dddb7e.png

562983ae2e305869c5c5be00a4a9453e.png

9646a4369a373be7a6f65c98feaeb10e.png

c7f523adbe24d92d79620cae25a809a5.png

c8d663cae250f81c9002ce688f12a228.png

62df180ee195cd47b38b5f03320b3802.png

f58eaa17fcb31c0be5b24be3ff912456.png

e9dc43781f41eca10b1c054d090463f6.png

9bf5590b41c7951bd363fb22a403839d.png

9dd5f35120103dc29e5132bedb7ea702.png

86b42241e45e4b545cfb657b1168083d.png

我的强化学习模型摆烂了😭

标签
#机器学习 #人工智能 #python #强化学习 #深度学习
原文链接：https://mp.weixin.qq.com/s?__biz=MzU1MjYzNjQwOQ==&mid=2247501443&idx=1&sn=f0645a8613cf08221cc69a6143eb9ee9&chksm=fbfd9c15cc8a150368cc14ce2bdf7c9e15d74a373f6f80479249f2904fb78db4f854b67776fa&scene=126&&sessionid=0>
探讨加速强化学习模型收敛的优化方法 通过选择适当的算法和技巧，我们可以在实践中加快模型的收敛速度，优化强化学习的训练过程。本文将探究基于价值函数和策略梯度的优化方法，帮助我们加快强化学习模型的收敛速度。这种方法能够利用策略梯度方法的优点，并结合了值函数的信息，从而提高了收敛速度。通过将历史经验存储到经验池中，随机采样进行训练，不仅能够提高样本的利用效率，还可以减少梯度的方差，加速收敛速度。例如，使用更深层次的神经网络结构、添加残差连接等技巧可以提高模型的表示能力，加速收敛速度。通过实验和调优，选择最优的超参数组合，可以提高模型的学习效率。 阅读详情

相关推荐

强化学习 之 多智能体（Multi-Agent）强化学习

参考 1、多智能体强化学习入门（一）——基础知识与博弈 2、《Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments》论文解读

Test_tju的博客 2万+

强化学习模型不收敛的改进方向

RL模型不收敛的原因

april_cui的博客 5492

强化学习中，训练过程的收敛性是什么？该如何进行衡量？详细进行解释

在高维状态空间中，策略和价值函数的收敛性可能受到影响。：在实际环境中，噪声和环境的不确定性可能会影响训练过程的收敛性。通过策略变化度量、价值函数的均方误差、奖励的稳定性等方法可以有效地衡量训练过程的收敛性。是机器学习的一个重要领域，其核心在于通过与环境的交互来学习最优策略，以最大化累积的奖励。理想情况下，策略会趋向于最优策略或接近最优策略，从而在给定的环境中表现出较好的性能。：策略收敛指的是随着训练的进行，策略逐渐趋向于稳定，不再发生显著变化。：收敛的奖励指的是随着训练的进行，累积奖励的数值趋于稳定。

wq6qeg88的博客 1682

强化学习笔记：强化学习的约束

再举几个例子。AlphaGo Zero 用了 2 千 9 百万局自我博弈，每一局约有 100 个状态和动作。TD3 算法 在 MuJoCo 物理仿真环境中训练 Half-Cheetah、Ant、Hopper 等模拟机器人，虽然只有几个关节需要控制，但是在样本数量 100 万时尚未收敛。甚至 连 Pendulum、Reacher 这种只有一两个关节的最简单的控制问题，TD3 也需要超过 10 万 个样本。 神经网络结构超参数包括层的数量、宽度、激活函数，这些都对结果有很大影响。...

qq_40206371的博客 5075

深度强化学习中加速收敛的办法是什么，原理是什么

加速深度强化学习收敛的核心思想是减少无效探索、提升样本效率和优化学习结构。具体方法包括改进探索策略、设计更好的奖励信号、利用先验知识、优化算法结构以及引入辅助任务或分层策略。这些方法从不同角度提升了强化学习算法的性能和效率，使其在复杂环境中更快地找到最优解。

具身机器人和通用AI 1331

基于DQN的强化学习算法的收敛性分析

基于DQN的强化学习算法的收敛性分析 1. 背景介绍 强化学习(Reinforcement Learning, RL)是机器学习的一个重要分支,它通过与环境的交互来学习最优的决策策略。深度Q网络(Deep Q-Network, DQN)是强化学习中一种非常著名和成功的算法,它利用深度神经网络来逼近Q函数,从而解决复杂环境下的强化学习问题

AI天才研究院 1462

如何判断强化学习算法是否收敛

如何判断强化学习算法是否收敛 1. 策略熵 对于随机性策略（PPO等）可以用策略熵来表示策略是否“确定”。在训练过程中随着策略提升，策略变得越来越确定，此时熵应该是随着逐渐降低的，熵曲线趋于平缓。 2. loss指标（网络收敛好坏） 这是DL中的直观指标，虽然不能直接用在DRL来说明策略好坏，但loss是在一直下降还是已经趋于平缓了，可以一定程度上说明网络模型的学习程度，看模型是“学会了”还是“学废了”，趋于平缓可能就是已经训练差不多了，当然“训练差不多”不代表“策略最优”，有些可能loss还在掉，但

rl小透明 1万+

深入研究前沿技术领域的纯强化学习推理模型的收敛性

本文旨在系统性地分析纯强化学习推理模型的收敛性问题。我们将重点关注无模型强化学习方法的收敛特性，包括基于值函数的方法（如Q学习）和基于策略的方法（如策略梯度）。研究范围涵盖理论基础、算法实现、收敛证明以及实际应用中的考量因素。本文首先介绍强化学习的基本概念和收敛性定义，然后深入分析影响收敛性的关键因素。接着通过数学证明和代码实现展示收敛性分析的具体方法。最后讨论实际应用中的挑战和未来发展方向。强化学习(RL)：一种通过与环境交互学习最优行为的机器学习范式收敛性：算法在迭代过程中逐渐接近最优解的性质。

AI天才研究院 1091

【ZJU-Machine Learning】强化学习

强化学习与监督学习的区别： （1）训练数据中没有标签，只有奖励函数（Reward Function）。 （2）训练数据不是现成给定，而是由行为（Action）获得。 （3）现在的行为（Action）不仅影响后续训练数据的获得，也影响奖励函数（Reward Function）的取值。 （4）训练的目的是构建一个“状态->行为”的函数，其中状态（State）描述了目前内部和外部的环境，在此情况下，要使一个智能体（Agent）在某个特定的状态下，通过这个函数，决定此时应该采取的行为。希望采取这些行为后，最终

SuperSources的博客 882

强化学习中的稳定性与收敛性

强化学习 (Reinforcement Learning, RL) 作为机器学习的一个重要分支，专注于智能体 (Agent) 通过与环境交互学习并优化其行为策略。智能体通过试错的方式，从环境中获得奖励或惩罚信号，并根据这些反馈不断调整策略，以实现长期累积奖励最大化的目标。开发更稳定、更收敛、更高效的 RL 算法。将 RL 应用于更复杂的任务，例如多智能体系统、自然语言处理等。将 RL 与其他技术结合，例如深度学习、迁移学习等。RL 算法通常需要大量的训练数据才能收敛。

AI天才研究院 1881

从Chiplet到UCIE：D2D互联技术如何重塑半导体设计生态

本文探讨了D2D互联技术在半导体设计中的革命性作用，从Chiplet到UCIE标准的演进如何重塑行业生态。详细分析了D2D互联的技术本质、架构选择及UCIE标准带来的变革，并展望了未来光学D2D和3D集成等趋势。高速互联接口技术的突破为AI加速器和计算芯片提供了更高带宽和能效。

weixin_29292535的博客 932

深入理解大模型强化学习：为什么reward收敛比loss下降更重要？

文章解析了强化学习(RL)与监督学习的核心区别，强调RL训练关注reward收敛而非loss下降。通过详解RL训练流程、目标函数和policy gradient原理，指出pg_loss仅为获取真实目标J(θ)梯度的工具，而非优化目标本身。因此评估RL效果时应关注reward是否收敛，而非pg_loss的变化，这对大模型训练实践具有重要指导意义。

libaiup的博客 1706

EDA虚拟机分享2020版本（Synopsys2020）

EDA虚拟机分享

亦安的数字小站 9198

Policy Evaluation的收敛性是怎么一回事

完美的学习算法 昨天和同学在群里讨论DRL里bad case的问题。突然有同学提出观点：“bad case其实并不存在，因为一些算法已经理论证明了具有唯一极值点，再加上一些平滑技巧指导优化器，就必然可以收敛。” 当听到这个观点时，我是一时语塞。因为当前深度学习研究的最大问题就是，花了很大资源训练的千万参数神经网络根本不work，一切都白白浪费。因此才有NAS之类方法尝试根据一些训练初期的动力学性质调整结构，找出合适的超参数，但也是效果平平。如果真有一个这么完美的学习算法，那岂不是任何问题都能解决了？但根

3A的奇奇怪怪圣地 1781

[Python]:热血传奇-Wzl，Wzx的解析

首先我们要了解,wzl与wzx的对应关系，wzx里面存的是每张二进制图片数据在wzl中的偏移量，所以取到wzx中的偏移数据就可以取到wzl每张图片数据，其实就这么简单。结构体为 [Byte][Byte][Byte][Byte][short][short][short][short][int]-读取44至48字节代表为，[wzx中偏移值总数量] [int类型] [4字节]-根据在wzx中取得的偏移值总数量，每张图片偏移值在wzl中取图片数据。2.[取wzl中图片偏据]：根据wzx中取得数据对[

qq_36138506的博客 3462

从流体力学到深度学习：手把手教你用PINN预测涡流场（基于TensorFlow2.10+GPU）

本文详细介绍了如何利用物理信息神经网络（PINN）结合TensorFlow 2.10和GPU加速，预测Navier-Stokes方程的涡流场。通过核心原理讲解、实战环境配置、网络架构设计及物理约束实现，帮助读者掌握从流体力学到深度学习的跨学科技术应用，特别适合处理复杂流体问题和非定常流动场景。

weixin_29048309的博客 215

7. 强化学习之——基于模型的强化学习

课程大纲 model-based RL 概要 model-based value optimization model-based policy optimization case study 基于模型的强化学习概要 之前学 model-free RL 的时候 （1）从经验中利用 policy gradient 直接学习 policy （2）利用 MC 或者 TD 学习 value function 本次课将会讲到 model-based RL【在讲 MDP 时有提到，有model 时就.

June 8684

利用Docker Compose简化openGauss多节点容器化部署

本文详细介绍了如何利用Docker Compose简化openGauss多节点容器化部署，从环境准备到配置文件编写，再到集群部署与验证，提供了一套完整的解决方案。通过Docker Compose，原本复杂的手动部署流程被大幅简化，显著提升了部署效率和可靠性，特别适合企业级开源数据库的高可用架构需求。

weixin_30338481的博客 61

判断强化学习的训练是否收敛，以及多智能体强化学习的调试技巧和顺序

强化学习收敛的核心是策略与价值函数的稳定性，需结合奖励曲线、熵、价值函数等多指标判断。MARL调试应遵循“环境→单智能体→多智能体交互→算法组件”的顺序，通过控制变量、可视化和基准对比定位问题，重点处理非平稳环境带来的训练不稳定性。观察奖励曲线：训练过程中，绘制每个 episode 的累计奖励（或平均奖励）曲线。如果奖励趋于稳定且波动较小，通常认为训练已收敛。策略稳定性：多次评估 agent 的策略，若策略输出趋于一致，说明策略收敛。

lhyyds的博客 1832

Oracle迁移至华为GaussDB SQL语法和存储过程转换

在将Oracle数据库迁移至GaussDB时，SQL语法和存储过程的转换是确保应用程序正常运行和数据完整性的关键环节。由于两者在数据类型、函数、过程语言等方面存在差异，必须系统化地进行转换和测试。正则表达式脚本：批量替换常见的语法差异。SQL解析工具：解析SQL脚本，生成GaussDB兼容的语法。代码审查工具：自动检查转换后的代码，确保语法和逻辑正确。将Oracle迁移至GaussDB涉及到SQL语法和存储过程的全面转换。通过系统化的转换步骤、使用合适的工具并结合手动调整，可以确保迁移过程的顺利进行。

weixin_38428874的博客 2399

fatal: unable to access ‘https://github.com/Stability-AI/stablediffusion.git/‘解决方案

本文主要介绍在安装 stable-diffusion-webui 时出现的 fatal: unable to access 'https://github.com/Stability-AI/stablediffusion.git/': Failed to connect to github.com port 443 after 21071 ms: Couldn't connect to server 问题的解决方案，希望能对你有所帮助。

水滴的博客 5688

强化学习学习（三）收敛性证明与DDPG

强化学习大多数不是理论收敛的，本文就给出了原因和证明思路。接着我们讨论Double Q-Learning和在连续动作下的强化学习DDPG

QinZheng7575的博客 2713

博途PLC如何建立与笔记本电脑端的连接？（新手必会）

对S7-1500PLC下载硬件组态或程序，需要建立PC与PLC的连接。 由于S7-1500CPU都具有PN端口，因此建立PC与S7-1500PLC的连接通常使用工业以太网来实现。 1.使用网线连接PC-PLC 使用网线，一端连接PC的以太网卡端口，另一端连接S7-1500CPU的PN端口。 2.设置本机IP地址 2.1 确认本机要设置的IP地址段 本机IP地址要和PLC程序组态IP地址段前三位保持一致，后一位使用组态中没有用到的IP地址段。如下图所示。 那么看了这个图片应该就知道了，地址应该设置成192.

weixin_42430971的博客 1万+

初探强化学习(6)到底TMD什么是model-based和model-free(基于模型的强化学习和基于模型的强化学习 TMD的到底是什么)

0 如何定义无模型和有模型 在实际应用中，根据agent是否通过与环境交互获得的数据来预定义环境动态模型，将RL分为模型化强化学习和无模型强化学,具体如图１所示。 1 有模型的中的模型model到底指的是什么？ ----基于模型的强化学习指先在与环境交互的数据中创建环境动态模型，然后基于该模型学习最优策略。它一般包含状态转移预测和奖励预测两个独立模型。如果两个模型可以准确描述真正的环境动态模型，那么当输入一个状态和动作时就不需要与环境进行实时交互，可以直接基于模型预测得到新的状态和动作奖励，从而极大地提高

qq_33328642的博客 5314

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。，新界面，新视觉，

OV9734 DATASHEET，完整规格书

OV9734完整规格书，包括电气参数，尺寸规格，寄存器配置表等
上一篇： 美国老姐看完200+中国学生SCI论文，怒写超详细“中国人英文论文写作指南”，还被推上了B站热门…...
下一篇： 知乎：月薪2~3万，码农怎样度过一天
点赞 2
评论 0
书签 书签 0
Wang_AI
Wang_AI
博客等级 码龄12年 997粉丝 162原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值