RL Policy-Based : Actor-Critic，A3C,DPG,DDPG,TRPO,PPO

最新推荐文章于 2025-05-01 21:15:00 发布
原创 最新推荐文章于 2025-05-01 21:15:00 发布 · 389 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

RL  Policy-Based ，基于策略梯度PG的算法：

PG基础:  REINFORCE

PG扩展： Actor-Critic，A3C,DPG,DDPG,TRPO,PPO

=============

REINFORCE Algorithms ,Machine Learning,1992
Ronald J. Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3):229-256, 1992
https://people.cs.umass.edu/~barto/courses/cs687/williams92simple.pdf

Actor-Critic Algorithms, NIPS 1999
https://papers.nips.cc/paper/1999/file/6449f44a102fde848669bdd9eb6b76fa-Paper.pdf
https://www.mit.edu/~jnt/Papers/J094-03-kon-actors.pdf

Asynchronous Advantage Actor-Critic, A3C , ICML 2016
https://arxiv.org/abs/1602.01783
https://github.com/dennybritz/reinforcement-learning/tree/master/PolicyGradient/a3c
A2C,Advantage Actor Aritic:A2C is a synchronous, deterministic variant of
Asynchronous Advantage Actor Critic (A3C)
https://github.com/openai/baselines/blob/master/baselines/a2c/a2c.py
https://openai.com/blog/baselines-acktr-a2c/
Deterministic Policy Gradient Algorithms, DPG     ICML 2014
https://hal.inria.fr/file/index/docid/938992/filename/dpg-icml2014.pdf
Continuous Control with Deep Reinforcement Learning,DDPG, ICLR 2016
https://arxiv.org/abs/1509.02971
https://github.com/openai/baselines/tree/master/baselines/ddpg
https://spinningup.openai.com/en/latest/algorithms/ddpg.html

Distributed Distributional Deterministic Policy Gradients,D4PG, ICLR 2018
https://arxiv.org/abs/1804.08617

Trust Region Policy Optimization,TRPO, ICML 2015
https://arxiv.org/abs/1502.05477
Proximal Policy Optimization Algorithms,PPO,2017
https://arxiv.org/abs/1707.06347
https://github.com/openai/baselines/tree/master/baselines/ppo1

Policy Gradient Algorithms,Lilian Weng,OpenAI,2018~
https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html

Actor-Critic相关算法小结
https://zhuanlan.zhihu.com/p/29486661
https://blog.youkuaiyun.com/WASEFADG/article/details/81042818
深度增强学习（DRL）漫谈 - 从AC（Actor-Critic）到A3C（Asynchronous Advantage Actor-Critic）
https://jinzhuojun.blog.youkuaiyun.com/article/details/72851548

Ref:

Reinforcement Learning: A Survey  1996
https://www.cs.cmu.edu/afs/cs/project/jair/pub/volume4/kaelbling96a-html/rl-survey.html
REINFORCE Algorithms
https://www.cs.cmu.edu/afs/cs/project/jair/pub/volume4/kaelbling96a-html/node37.html

强化学习算法: 让机器能够学习、决策和预测 DQN、DDPG和TRPO算法介绍 A Comprehensive Guide to Reinforcement Learning Algorithm
AI天才研究院
08-13 262
人工智能（AI）一直是人类进步的一个方向。机器学习是AI的一个重要组成部分，也是研究者们在日益强大的机器学习领域不断追赶的领域。而人工智能的重点是解决复杂的问题，机器学习是一种能从数据中自动学习并改善其行为的方法。因此，机器学习可以帮助我们解决很多实际问题。特别地，强化学习（Reinforcement Learning，RL）是机器学习的一个子领域。RL属于一个在环境中交互采取行动，并且反馈反馈奖励，直到达到最佳状态、或遭遇最大的损失为止的过程。通过学习，RL可以提高效率，减少出错，加快收敛等等。
Proximal Policy Optimization (PPO): A Robust and Efficient RL Algorithm
AI天才研究院
12-27 694
1.背景介绍 Proximal Policy Optimization (PPO) 是一种强化学习 (Reinforcement Learning, RL) 算法，它在许多实际应用中表现出色，具有较强的鲁棒性和效率。在这篇文章中，我们将详细介绍 PPO 的核心概念、算法原理、具体实现以及潜在的未来趋势和挑战。
【RL】Policy Gradient Methods（策略梯度方法）
qq_44733706的博客
02-21 1067
概述强化学习算法中策略梯度方法。
RL-PolicyGradient 理解与实例
weixin_45211921的博客
10-14 435
策略梯度PG PG学习中的理解–PG算法去夺???? -主要来源了莫烦大神 1.怎么进行神经网络的误差反向传递： policy Gradients是没有误差，他进行的一种反向传递的目的是让这次被选中的行为更有可能在下次发生。但是我们要怎么确定这个行为应被增加被选的概率，这时也是需要使用reward奖罚制度。 整个流程就是：观测的信息通过神经网络分析，选出一个行为，然后进行反向传递增加这个行为下次被选择的可能性。如果奖罚信息告诉我们，这个行为不好，那么这个动作可能增加的幅度会逐渐降低，也就是选择这个行为动作的
强化学习（Reinforcement Learning, RL）中的策略（Policy）
最新发布
Rhett_Butler0922的博客
05-01 951
在强化学习中，策略是智能体决策的核心，定义了在给定状态下如何选择动作。πS→AπS→AπS→PAπS→PA其中PAPA表示动作空间AA上的概率分布。强化学习中的策略是智能体与环境交互的核心，决定了如何根据状态选择动作。策略可以是确定性的或随机的，通过表格表示或函数逼近实现。优化策略的方法包括基于价值的、基于策略的，以及 Actor-Critic 方法。深度强化学习通过神经网络建模策略，结合探索与利用技术，解决复杂任务。
RL——Policy Gradient类方法
Vic_Hao的博客
06-04 606
Policy Gradient和Q-learning可以说是model-free RL的两大阵营。前者是off-line, on-policy的方法，后者是on-line, off-policy的方法。前者是策略迭代，关心的是策略网络的参数；后者是值迭代，关心的是值网络的输出。随着RL的不断发展，这两类方法在不断交错领跑的过程中交汇融合。 本文重点介绍Policy Gradient的方法，从其“初...
强化学习算法：此存储库包含大多数基于pytorch实现的经典深度强化学习算法，包括-DQN，DDQN，Dualling Network，DDPG，SAC，A2C，PPO，TRPO。 （更多算法仍在进行中）
01-30
深度强化学习算法 该存储库将使用PyTorch实现经典的深度强化学习算法。 该存储库的目的是为人们提供清晰的代码，以供他们学习深度强化学习算法。 将来，将添加更多算法，并且还将保留现有代码。 当前实施 深度Q学习网络（DQN） 基本DQN 双Q网络 决斗网络架构 深度确定性策略梯度（DDPG） 优势演员评判（A2C） 信任区域策略梯度（TRPO） 近端政策优化（PPO） 使用克罗内克因素信任区域（ACKTR）的演员评论家 软演员评论（SAC） 更新信息 :triangular_flag: 2018年10月17日-在此更新中，大多数算法已得到改进，并添加了更多关于图的实验（DPPG除外）。 PPO现在支持atari游戏和mujoco-env 。 TRPO非常稳定，可以得到更好的结果！ :triangular_flag: 2019-07-15-在此更新中，不再需要为openai基准安装。 我在rl__utils模块中集成了有用的功能。 DDPG也重新实现，并支持更多结果。 自述文件已被修改。 代码结构也有微小的调整。 :triangular_flag: 201
深度强化学习笔记01【Policy-Gradient/Actor-Critic/DQN/PPO】
zpz84761695的博客
08-15 442
本系列文为作者本人在学习过程中笔记，为本人复盘学习用，主观色彩浓厚，且仅适合对DRL有一定了解的人阅读！
主流强化学习算法论文综述：DQN、DDPG、TRPO、A3C、PPO、SAC、TD3
热门推荐
te_sun的博客
04-03 2万+
强化学习自从15年开始DQN的成功应用得到了雨后春笋般成长，获得学术界极高的关注。在此之间，强化学习主要以model based模型为主，其特点为问题针对性强，需要大量的人为假设，且对于不同问题需要特定的模型套入。而现在开始model free的模型有极大的通用性，一个算法吃遍天下所有任务，因此也提高了之间的可比较性，也促成了学术界的井喷。主流的两个思路为Q-learning和Policy gra...
如何选择深度强化学习算法：MuZero/SAC/PPO/TD3/DDPG/DQN/等算法
丨汀、的博客
07-14 4511
如何选择深度强化学习算法：MuZero/SAC/PPO/TD3/DDPG/DQN/等算法
RL 笔记(2) 从Pollicy Gradient、DDPG到 A3C
weixin_43146899的博客
03-02 1021
RL 笔记(2) 从Pollicy Gradient、DDPG到 A3C Pollicy Gradient Policy Gradient不通过误差反向传播，它通过观测信息选出一个行为直接进行反向传播。 通过更新 Policy Network 来直接更新策略的。实际上就是一个神经网络，输入是状态，输出直接就是动作（不是Q值）。而是利用reward奖励直接对选择行为的可能性进行增强和减弱，好的行为会被增加下一次被选中的概率，不好的行为会被减弱下次被选中的概率。一般输出有两种方式：一种是概率的方式，即输出某一个
TRPO算法论坛
05-02
该文档为AI学习中强化学习的TRPO算法论文，PDF格式的内容。
[文献阅读] - [Review-model-based RL] (3) - [Model-based RL: a Survey]
upr_rom的博客
07-04 264
MBRL: survey 2020
RL--Policy-based methods--PPO
u012492756的博客
10-13 196
policy gradient 的 off-policy 版本，有 2 个 policy，behavior policy 用来采样，target policy 是训练最终要得到的结果。PPO全称Proximal Policy Optimizationproximal 为近端的，表示要让 behavior policy 和 target policy 差别不太大。虽然采样和训练的2 个 policy，但是需要他们差别较小。
李宏毅强化学习笔记【3.Actor-Critic】
*晴儿*的博客
01-25 416
复习策略梯度policy gradient 计算在某一个state，采取action a的概率。到游戏结束为止，获得多少reward。 G很不稳定。除非sample很多。 复习Q-learning 用期望代替sample，value-based 第一种方法算V，用π和环境做互动，看到s之后，累计reward期望值是多少。 第二种方法，用π，当再s采取a，累计reward是多少...
TRPO算法详解
qq_48191249的博客
05-25 3852
TRPO算法详解
强化学习基础：强化学习分类，强化学习表示，值函数，策略迭代/值迭代, 主要的强化学习技术(蒙特卡洛学习/时间差分学习,DQN.,策略梯度/REINFORCE/AC系列算法)
weixin_36378508的博客
02-15 2743
强化学习
[RL 6] Deterministic Policy Gradient Algorithms (ICML, 2014)
xyp99的博客
10-27 317
Deterministic Policy Gradient Algorithms (ICML, 2014) Stochastic PGT (SPGT) Theorem ∇θJ(πθ)=∫Sρπ(s)∫A∇θπθ(a∣s)Qπ(s,a)dads=Es∼ρπ,a∼πθ[∇θlog⁡πθ(a∣s)Qπ(s,a)]\begin{aligned} \nabla_{\theta} J\left(\pi_{\theta}\right) &=\int_{\mathcal{S}} \rho^{\pi}(s) \i
处理连续动作的强化学习算法
04-01
<think>嗯，用户想了解处理连续动作的强化学习算法。首先，我需要回忆一下常见的强化学习算法，尤其是针对连续动作空间的。比如，DQN主要处理离散动作，但连续动作可能需要不同的方法。 然后想到策略梯度方法（Policy Gradient），因为这类方法可以直接输出动作的概率分布，适用于连续空间。比如REINFORCE算法，不过可能需要改进。接着，确定性策略梯度（DPG）和深度确定性策略梯度（DDPG）应该是相关的，DDPG结合了DQN和DPG，使用Actor-Critic结构，适合连续控制问题。 还有PPO（Proximal Policy Optimization），属于策略优化方法，能处理连续动作，而且训练稳定。TRPO（Trust Region Policy Optimization）也是类似的，但计算更复杂。SAC（Soft Actor-Critic）引入了熵最大化，可能提升探索效率，适用于连续动作环境。 需要检查用户提供的引用内容，看看有没有相关引用。比如引用[1]提到在连续动作空间中寻找贪婪动作困难，这解释了为什么需要策略梯度方法。引用[3]提到DDPG是off-policy，使用经验回放，这可以解释DDPG的工作原理。 接下来，要组织回答的结构，先介绍问题背景，再逐个讲解算法，引用对应的资料。同时注意用户要求生成相关问题，所以最后需要列出相关问题，比如应用场景、优化方法、对比等。 还要确保使用正确的中文术语，比如“确定性策略梯度”而不是直译，并且数学公式用$$...$$和$...$格式。例如，策略梯度定理的公式应该用独立公式格式，而内联的如动作选择用行内格式。 需要验证每个算法的关键点是否准确，比如DDPG的Actor-Critic结构、经验回放、目标网络，以及SAC的最大熵框架。确保引用标记正确对应，比如引用[1]对应策略梯度，引用[3]对应DDPG的经验回放机制。 最后检查是否有遗漏的重要算法，比如A3C（Asynchronous Advantage Actor-Critic）可能也是相关的，但用户提供的引用里没有提到，可能不需要特别提及。保持回答简洁，重点覆盖用户提到的引用和相关主流算法。</think>### 处理连续动作的强化学习算法 在强化学习中，**连续动作空间**的处理需要特殊的算法设计，因为传统的Q-learning等方法难以直接处理无限或高维的连续动作[^1]。以下是几种主流的连续动作强化学习算法及其核心原理： --- #### 1. **策略梯度方法 (Policy Gradient Algorithms)** 策略梯度方法直接优化策略函数$\pi_\theta(a|s)$，通过梯度上升最大化期望回报。其梯度计算公式为： $$ \nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^T \nabla_\theta \log \pi_\theta(a_t|s_t) Q^\pi(s_t,a_t) \right] $$ - **特点**：适用于连续动作空间，可结合神经网络参数化策略。 - **示例**：REINFORCE算法、Actor-Critic框架[^2]。 --- #### 2. **确定性策略梯度 (DPG/DDPG)** - **DPG (Deterministic Policy Gradient)**：直接输出确定性动作$a = \mu_\theta(s)$，梯度公式为： $$ \nabla_\theta J(\theta) = \mathbb{E}_{s \sim \rho^\mu} \left[ \nabla_\theta \mu_\theta(s) \nabla_a Q^\mu(s,a)|_{a=\mu_\theta(s)} \right] $$ - **DDPG (Deep DDPG)**：结合DQN和DPG，引入经验回放和目标网络[^3]。Actor网络生成动作，Critic网络评估动作价值。 ```python # 伪代码示例：DDPG的Actor网络更新 actor_loss = -critic(state, actor(state)).mean() actor_optimizer.zero_grad() actor_loss.backward() actor_optimizer.step() ``` --- #### 3. **近端策略优化 (PPO)** PPO通过限制策略更新的幅度提升训练稳定性： $$ J(\theta) = \mathbb{E}_t \left[ \min\left( r_t(\theta) A_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) A_t \right) \right] $$ 其中$r_t(\theta)$为新旧策略的概率比，$A_t$为优势函数。 --- #### 4. **柔性Actor-Critic (SAC)** SAC通过最大化熵正则化的回报来增强探索： $$ J(\pi) = \sum_{t=0}^T \mathbb{E}_{(s_t,a_t)} \left[ r(s_t,a_t) + \alpha \mathcal{H}(\pi(\cdot|s_t)) \right] $$ - **特点**：结合了最大熵框架和Actor-Critic结构，适用于高维连续控制。 --- ### 关键挑战与解决方案 1. **探索与利用的平衡**：SAC通过熵最大化鼓励探索[^3]。 2. **高维动作空间的优化**：策略梯度方法通过直接参数化策略避免遍历所有动作。 3. **训练稳定性**：DDPG使用目标网络和经验回放，PPO通过约束策略更新幅度。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值