强化学习：DDPG到MADDPG

最新推荐文章于 2025-09-12 22:06:27 发布
原创 最新推荐文章于 2025-09-12 22:06:27 发布 · 1.2w 阅读 · 117 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#强化学习 #机器学习 #多智能体

目录

策略梯度(Policy Gradient)

行动器-评判器方法(Actor-Critic)

Deterministic Policy Gradient

on-policy和off-policy

DPG

Deep Deterministic Policy Gradient

Multi-agent Deep Deterministic Policy Gradient

多智能体强化学习背景

MADDPG

MADDPG的实现

参考文献

本文主要关注于强化学习中基于策略梯度的方法。首先会简要介绍什么是策略梯度，什么是Actor-Critic算法，以及DPG算法，之后会重点讲述DDPG(Deep Deterministic Policy Gradient)算法，以及DDPG的多智能体版本：MADDG(Multi-agent Deep Deterministic Policy Gradient)。

策略梯度(Policy Gradient)

与基于策略梯度（Policy Based）的方法相对应的，是基于动作价值函数（Value Based）的方法。我们熟悉的DQN（Deep Q Learning）就是典型的基于动作价值函数的强化学习方法。它们都是先学习动作价值函数，然后根据估计的动作价值函数来选择动作，如果没有这个动作价值函数，那么策略也不会存在。但是Value Based的方法也存在一些问题，首先，Value Based的方法很难处理连续动作的问题，因为Value Based的方法是根据动作价值函数q(s,a)，寻找能使得q最大的a，如果a是一个连续空间下的动作，这个问题就会很难处理。另外,Value Based的方法也很难输出一个随机策略，因为我们最后选择动作是去选择q(s,a)最大的，而不是基于一个a的概率，因此，我们期望能有一种方法，可以不经过价值函数，直接输出动作的概率，这就是Policy Based的方法。

如上所述，我们要学习的策略，可以形式化地表达为\pi(a|s,\theta)=Pr \{A_t = a | S_t = s, \theta_t = \theta\}，也就是在t时刻，状态s下选择a动作的概率。我们讨论的策略参数θ的学习方法都是基于某种性能度量J(θ)的梯度，这些梯度是度量J(θ)对策略参数的梯度，我们的目标是最大化性能指标，所以它们的更新近似于J的梯度上升。 

                                                                                                                                        \theta_{t+1} = \theta_{t} + \alpha \widehat{\Delta J(\theta_{t} )} 

所有符合这个框架的方法都称为策略梯度法，不管它们是否还同时学习一个近似的价值函数。

我们基于策略梯度定理 \nabla J(\boldsymbol{\theta}) \propto \sum_{s} \mu(s) \sum_{a} q_{\pi}(s, a) \nabla \pi(a \mid s, \theta)来对参数进行优化。

有了对参数的优化方法，下面的问题就是这个策略函数\pi(a|s,\theta)具体应当是怎样的。我们可以简单看一下，在离散的情况下，策略梯度函数是怎样的。我们可以根据一个指数柔性最大化分布\pi(a \mid s, \boldsymbol{\theta}) \doteq \frac{e^{h(s, a, \boldsymbol{\theta})}}{\sum_{b} e^{h(s, b, \boldsymbol{\theta})}}选择。在这里h可以是任意的函数，它既可以是一个复杂的神经网络，也可以是一个简单的线性组合。在这里，我提一个问题，连续性的动作，我们是怎么基于\pi(a \mid s, \boldsymbol{\theta})来进行策略选择的？粗看这个公式，它输出的是在特定环境下，某个动作a出现的概率，这看起来好像和Q(s,a)没有啥区别，面对无限的连续空间，我们依然找不到那个最大的概率，那我们是怎么选择动作的呢？

想要进一步了解策略梯度算法的可以去学习REINFORCE蒙特卡洛策略梯度算法。

我们对策略梯度的基本内容介绍到此为止，接下来我们看一种同时学习策略和价值函数的方法——Actor-Critic

行动器-评判器方法(Actor-Critic)

基于策略梯度的算法，比如蒙特卡洛策略梯度算法，都是基于回合更新的，学习比较缓慢，因此我们考虑使用时序差分的方法来消除这些不便。因此，我们可以考虑用一个Actor(继承策略梯度的方法)来学习策略，和一个Critic(继承Value based)的方法来实现单步更新，Critic就是在做对策略的评估，也就是Q_{w}(s, a) \approx Q^{\pi_{\theta}}(s, a)。基于这种想法，策略梯度的更新公式如下所示

                                                                                                                                   

最低0.47元/天 解锁文章
深度强化学习：深度解析 MADDPG
丨汀、的博客
07-14 850
深度强化学习：深度解析 MADDPG
强化学习：Actor-Critic、SPG、DDPG、MADDPG
Hellsegamosken
12-01 2376
DQN 或者 DDPG 都不适用于多智能体环境，主要的问题是在训练过程中每个智能体的策略都在变化，因此从每个智能体的角度来看，环境变得十分不稳定。即对于同一个 observation，执行相同的 action 得到的 reward 不同，环境的真实状态可能天差地别，进而导致 q 值的估计很不稳定，也就不能给出 action 的正确梯度。 我们想要让 Critic 的评判更全面，就需要给它更多的信息，比如其他智能体的状态和动作等，让对于某个 agent 的环境变成完全可观察的。MADDPG 的思想就是每个
【强化学习】DDPG 算法原理及其Python实现
最新发布
大雨的博客
09-12 1821
本文系统介绍了深度确定性策略梯度（DDPG）算法及其实现。首先阐述了强化学习基础概念，包括智能体、环境、状态等核心要素。重点剖析了DDPG算法原理，详细说明了其Actor-Critic架构、确定性策略、经验回放和目标网络等关键机制。通过Python代码实现了DDPG算法，并以无人机轨迹优化为例展示了训练效果。文章分析了DDPG在处理连续动作空间方面的优势，同时指出其对超参数敏感、计算需求高等局限性。最后展望了DDPG在智能制造、智能交通等领域的应用前景，为深入理解和应用该算法提供了全面指导。
DDPG-MADDPG
weixin_41128293的博客
09-24 1693
DDPG Deep Deterministic Policy Gradient
多智能体强化学习之MADDPG
weixin_44548214的博客
05-12 2万+
MADDPG（Multi-agent Deep Deterministic Policy Gradient） MADDPG可以看作三部分，首先是DPG（Deterministic Policy Gradient），然后是DDPG（Deep Deterministic Policy Gradient），最后是MADDPG（Multi-agent Deeep Deterministic Policy Gradient）。我们需要逐一了解。 1、什么是DPG？ DPG是在连续动作空间上采用确定策略进行Policy
多智能体深度确定性策略梯度(MADDPG)算法介绍及代码实现
热门推荐
QHCV的博客
04-08 3万+
多智能体深度确定性策略梯度（Multi-Agent Deep Deterministic Policy Gradient, MADDPG）算法是一种在多智能体环境中使用的强化学习算法。这种算法是基于深度确定性策略梯度（DDPG）算法的扩展。MADDPG主要用于解决多智能体环境中的协作和竞争问题，特别是在智能体之间的交互可能非常复杂的情况下。下面将详细介绍MADDPG算法的核心概念和工作原理。
多智能体深度强化学习 # MADDPG
skysys的研究小屋
12-14 7205
前置基础： DDPG 多智能体深度强化学习 # 多智能体深度强化学习基础 Multi-Agent:多智能体 Deep:与DQN类似,使用目标网络+经验回放 Deterministic:直接输出确定性的动作 Policy Gradient: 基于策略Policy来做梯度下降从而优化模型 MADDPG其实是在DDPG的基础上做的修改,而DDPG可以看作在DPG的基础之上修改而来,DPG是确定性输出的Policy Gradient;也可以把DDPG理解为让DQN可以扩展到连续控制动作空间的算法。 DDPG不适
强化学习算法合集（DQN、DDPG、SAC、TD3、MADDPG、QMIX等等）
01-30
强化学习算法合集（DQN、DDPG、SAC、TD3、MADDPG、QMIX等等）内涵20+强化学习经典算法代码。对应使用教程什么的参考博客： 多智能体（前沿算法+原理） ... 强化学习基础篇（单智能体算法） ...
RL策略梯度方法之(九):Multi-agent DDPG (MADDPG)
qq_38293297的博客
10-05 3926
本专栏按照 https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html 顺序进行总结 。 文章目录原理解析算法实现总体流程代码实现 原理解析 算法实现 总体流程 代码实现
多智能体强化学习算法MADDPG（一：由单智能体强化学习到多智能体强化学习）
qq_40089637的博客
09-05 1万+
我，菜拐拐，今天又来了！废话少说，上重点。准备好课堂笔记┗|｀O′|┛ 嗷~~ 多智能体强化学习背景知识为什么提出多智能体DDPG（MADDPG）？学习MADDPG算法的先验知识？Q-LearningDQNSPGDPGDDPG由DDPG算法到MADDPG算法？MADDPG算法的巧妙之处？ 为什么提出多智能体DDPG（MADDPG）？ 多智能体环境下传统算法的短板 传统的Q-Learning算法不适用：随着训练的进行，每个智能体的策略都在发生变化。从任何一个单独的智能体的角度来看，环境都变得不稳定，这带来.
【MADRL】多智能体深度确定性策略梯度（MADDPG ）算法
博主关注人工智能、强化学习、嵌入式等||985高校A+学科研究生、猿龄六年||优快云博客专家、2024年博客之星TOP33、华为云享专家、人工智能领域优质创作者。
09-07 1万+
MADDPG (Multi-Agent Deep Deterministic Policy Gradient) 是一种用于多智能体强化学习环境的算法。它由2017年发布的论文《Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments》提出。MADDPG结合了深度确定性策略梯度（DDPG）算法的思想，并对多智能体场景进行了扩展，能够处理混合的协作与竞争环境。
maddpg-replication
05-10
maddpg-复制 这是的部分复制 。 该论文介绍了一种称为MADDPG（多主体深度确定性策略梯度）的算法，用于训练可以智能交互的多个主体。 作者发布了用于复制论文的。 该存储库记录了运行该代码的过程和结果。 尽管我（Nisan Stiennon）隶属于Google，但这不是Google的正式产品。 结果 查看以获取结果。 中的每个目录都包含： 每个第1000集的视频，就像。 经过训练的模型，包括名为以下文件的文件： 检查站 .data-00000-of-00001 。指数 .meta 每第1000集可获得奖励，以制作奖励图： agrewards.pkl，每个特工在剧集中的平均奖励 rewards.pkl，所有特工在整个情节中的平均奖励 来自Benchmark.pkl中经过全面训练的模型的特定于场景的性能数据 以下是Jupyter笔记本中使用的实验： simple_adv
ddpg
02-17
ddpg
MADDPG
Youyali_的博客
09-26 2233
MADDPG代码实现
DDPG的前世今生
qq_44742430的博客
04-15 1011
这是一篇关于DDPG的笔记记录记录思路形成过程 记录思路 最先接触到的是DDPG（深度确定策略梯度）这个算法，但是一开始并没有注意到这个基本方法。 直到在文献阅读过程中遇到了许多基于DDPG的算法变体，开始意识到这一系列算法的演变，遂查阅了一下相关的技术帖。此处仅作记录，原创作者见跳转链接。 形成过程 这是按照查询步骤形成的过程： Markov decision process https://blog.youkuaiyun.com/liweibin1994/article/details/79079884； Q-l
MADDPG论文学习
大鱼治不了水的博客
12-20 2256
摘要 传统算法用于多智能体环境下的困难： Q-learning受到环境不稳定性的挑战 策略梯度的方法随着智能体数量增加，方差变大。 本文的贡献： 提出了一种actor-critic方法的变种：在考虑其他智能体action-policy的同时，能够学习到需要多智能体的协同policy； 引入了一种训练方式，集成了各智能体的policy，来形成一个更加鲁棒的多智能体policy。 在既合作又竞争的场景下进行测试，验证在这种场景下，智能体集群能够学习到物理和信息层面的合作策略。 ...
MARL学习篇----MADDPG
qq_37395293的博客
04-02 1万+
MARL学习篇----MADDPG 前言 MADDPG是DDPG在多智能体任务中的一种扩展，其基础思想为：集中式学习，分散式执行（CTDE）。 简单来说，在训练的时候，引入可以观察全局的critic来指导actor训练，而测试的时候只使用有局部观测的actor采取行动。。你可以这么理解：每一个agent都有一个全知全能的老师指导，而在做决策的时候，agent只需要根据自己对环境的观察做出正确的动作。 这种思想简单粗暴但方法却行之有效，可见这其中的trick应该不少。 算法简介 传统强化学习方法很难用在mul
多智能体连续行为空间问题求解——MADDPG
qq_38638132的博客
05-25 7385
目录1. 问题出现：连续行为空间出现2. DDPG 算法2.1 DDPG 算法原理2.2 DDPG 算法实现代码 MADDPG 是一种针对多智能体、连续行为空间设计的算法。MADDPG 的前身是DDPG，DDPG 算法旨在解决连续性行为空间的强化学习问题，而 MADDPG 是在 DDPG 的基础上做了改进，使其能够适用于多智能体之间的合作任务学习。本文先从 DDPG 引入，接着再介绍如何在 DDPG 算法上进行修改使其变成 MADDPG 算法。 1. 问题出现：连续行为空间出现 Q-Learning 算
M3DDPG和MADDPG有何不同
12-31
### M3DDPG 和 MADDPG 的差异 在强化学习算法领域，MADDPG (Multi-Agent Deep Deterministic Policy Gradient) 是一种用于多智能体环境下的策略梯度方法[^1]。该算法允许多个代理协同工作来解决复杂的决策问题。 相比之下，M3DDPG (Memory-based Multi-agent Deep Deterministic Policy Gradient) 则是在 MADDPG 基础上引入了记忆机制以增强模型性能。具体来说： - **内存模块**：M3DDPG 中加入了外部存储器组件，使得各智能体能够记录并利用历史交互数据来进行更有效的训练和推理过程。 - **加速收敛速度**：通过采用动量项（momentum），特别是在处理过参数化场景时，可以加快优化进程中的收敛速率，并提高最终解的质量。 ```python # 这里展示了一个简单的伪代码对比两者的主要不同之处 class M3DDGP_Agent: def __init__(self): self.memory = Memory() # 新增的记忆单元 def update(self, state, action, reward, next_state): super().update(state, action, reward, next_state) self.memory.store_transition(...) # 将经验存入外挂式记忆库 def train_m3ddpg(agents): for agent in agents: experiences = sample_from(agent.memory) # 使用来自记忆的数据进行更新 optimize_model(experiences) ``` 值得注意的是，在某些情况下，Nesterov 动量可能被应用于进一步改进这两种算法的表现形式。
评论 8
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值