强化学习经典算法笔记(十六)：Policy Gradient算法家族

最新推荐文章于 2025-07-01 19:19:43 发布
原创 最新推荐文章于 2025-07-01 19:19:43 发布 · 648 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #强化学习

本文通过翻译LilianWeng在OpenAI的工作成果，全面介绍策略梯度算法家族，重点解析SoftActor-Critic（SAC）算法，为读者提供深入理解强化学习经典算法的宝贵资源。

强化学习经典算法笔记(十六)：Policy Gradient算法家族

在学习Soft Actor-Critic，SAC算法时，发现了一篇非常好的文章，比较全面地介绍了策略梯度算法家族。文章的作者是在OpenAI工作的Lilian Weng小姐姐，佩服至极！！

文章链接：
Policy Gradient Algorithms

为了系统地学习一下，我决定翻译一下，尽管已经有了中文版。

先占个坑。

Deterministic Policy Gradient Algorithms
weixin_37958272的博客
12-03 321
Deterministic Policy Gradient Algorithms 在本文中，我们考虑了具有连续行动的强化学习的确定性策略梯度算法。确定性策略梯度有一个特别吸引人的形式：它是action-value函数的预期梯度。这种简单的形式意味着确定性策略梯度的估计比通常的随机策略梯度要有效得多。为了确保充分的探索，我们引入了一个off-policy actor-critic算法，从exploratory behaviour policy中学习一个确定性的目标策略。我们证明，在高维行动空间中，确定性的策略
强化学习(4)：策略梯度Policy Gradient算法
Li_JR的博客
11-13 852
本章内容主要参考了UC Berkeley Deep RL Bootcamp的内容，由作者按照自己的理解整理而成 终于到Policy Gradient方法了！ 一、引言 reinforcement learning研究的是智能体agent与环境environment进行交互，在交互的过程中学习的问题，RL的根本目的是进行策略的优化，希望最终能够获得最优秀的策略。策略（policy）指的就是一个函数，输入一个当前状态state，输出一个动作action（的分布），相当于给agent指明了一条路线，告诉agent
策略梯度(Policy Gradient)算法学习
Yicen
08-12 3074
强化学习策略梯度理论
Policy Gradient Algorithms
a1424262219的博客
10-02 1092
Policy Gradient Algorithms 2019-10-0217:37:47 This blog is from:https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html Abstract: In this post, we are going to l...
深度增强学习之Policy Gradient方法1
热门推荐
人工智能
04-19 2万+
1 前言 在之前的深度增强学习系列文章中，我们已经详细分析了DQN算法，一种基于价值Value的算法，那么在今天，我们和大家一起分析深度增强学习中的另一种算法，也就是基于策略梯度Policy Gradient的算法。这种算法和基于价值Value的算法结合而成的Actor-Critic算法是目前效果最好的深度增强学习算法。 那么关于Policy Gradient方法的学习，有以下一些网上
强化学习经典算法笔记(七)：策略梯度算法Policy Gradient
hhy_csdn的博客
05-30 2440
目录策略梯度Policy Gradient原理与公式推导代码 策略梯度Policy Gradient 本文介绍策略梯度算法Policy Gradient在连续动作空间上的实例。 以OpenAI Gym上的LunarLanderContinuous-v2游戏环境为例。 原理与公式推导 略，先挖坑 代码 import argparse, math, os, sys import numpy as np import gym from gym import wrappers import torch from
强化学习笔记（六）：Policy Gradient/策略梯度
LuoMin2523的博客
06-22 611
目录 考题 知识点1：critic、actor​ 定理1：策略梯度理论 定理2：函数近似理论 知识点3：蒙特卡洛策略梯度 知识点4:Actor-critic算法 知识点：Advantage Function 总结 考题 知识点1：critic、actor 定理1：策略梯度理论 定理2：函数近似理论 函数近似理论的证明： 知识点3：蒙特卡洛策略梯度 蒙特卡洛参数的更新运用了随机梯度下降的方法。蒙特卡洛策略梯度更新的公式以及伪代码如下所示： 蒙特卡洛策略...
强化学习：Policy Gradients 学习笔记
最新发布
只是个人学习笔记
07-01 1735
Policy Gradient（基于 Softmax 的策略梯度算法）是强化学习中的经典策略梯度方法，通过直接优化策略函数来最大化累积奖励。
David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度
dzcera的博客
02-06 907
Lecture 7: Policy Gradient Methods https://www.davidsilver.uk/wp-content/uploads/2020/03/pg.pdf Introduction Policy-Based RL的优点：更好的收敛性；在高维或连续动作空间中有效；可以学习随机策略 缺点：通常会收敛到局部最优，而不是全局最优；评估一项政策通常效率低下且差异很大 目标函数 一般而言，只要出现随机的策略的时候，一般都会比确定性策略效果要好。针对我们的目标函数，我们有如下几
李宏毅强化学习课程教学笔记--Policy gradient
weixin_42421591的博客
08-11 513
强化学习：policy gradient （PG）算法的原理简讲与弊端
Policy Gradient Algorithm
thompson的博客
11-13 1119
Policy Gradient Algorithms 连续动作空间 我们可以把待求的π∗(s)\pi^{*}(s)π∗(s)看作是一个stochastic policy: π∗(a∣s)={1a=π∗(s)0a≠π∗(s) \pi^{*}(a|s)=\left\{ \begin{array}{rcl} 1 & & {a=\pi^{*}(s)}\\ 0 & & {a\neq \pi^{*}(s)} \end{array} \right. π∗(a∣s)={10​​a=π∗(s)
Policy Gradient 算法
Steve Wang's blog
11-28 952
常见的policy gradient算法，写出来挺简单的，但是有一个复杂的推导过程，这里就略去了。
Policy Gradient算法
Facico的博客
09-20 499
Policy Gradient算法 数学理论 不像value-based的方法(Q learning, Sarsa)，与其不同的是他要输出的不是action的value，而是具体的那一个action，这样policy gradient就跳过了value这个阶段 value-based输出的不是连续值，然后再选择最大的action policy gradient可以在一个连续分布上选取action 这个方法在方反向传播的时候是没有误差的，不过它确实在做一种反向传播 但是这个反向传播的目的是让这一次被
论文笔记-Deteministic Policy Gradient Algorithms
allen_li123的博客
11-03 652
Deteministic Policy Gradient Algorithms 文章目录Deteministic Policy Gradient Algorithms论文干货on-policy与off-policy 论文干货 论文论证了确定性策略明显优于随机性策略在高维动作空间问题中。 策略梯度算法广泛运用在深度强化学习中的连续控制领域。 策略梯度算法的主要意思是用参数概率分布πθ(a∣s)=P[...
RL之Policy Gradient算法
liuruijun0203的博客
05-19 428
特点： 首先，该算法跳出传统value-based寻找最优策略的方法，取而代之的是一种通过策略迭代直接寻找最优策略的方法。 其次，其可以进行在连续状态空间进行迭代，跳出Q-Learing所谓的利用Q表去计算每个状态-动作对的价值。 第三他跳出了之前确定性策略的局限，选取随机策略迭代, 具体详情请点击 太懒了，有时间一定好好整理~ ...
【深度强化学习】Policy Gradient算法
qq_40268672的博客
12-16 1989
Policy Gradient算法 Trajectory Trajectory表示一个回合的状态-动作序列，记为τ\tauτ,其发生的概率记为pθ(τ)p_{\theta}(\tau)pθ​(τ)，计算公式如上图所示。 Policy Gradient 我们希望通过最大化下图中的Expected Reward，来进行策略的学习。 其梯度计算如下: 因此我们可以设计下图所示的损失函数，其中θ\thetaθ为策略神经网络的参数，其输出为每个动作的概率值 改进一 考虑到R(τn)R(\tau^n)R(τn)
policy gradient
Deep Learning and NLP Farm
12-26 996
最近看强化学习的文章，里面涉及到的一个概念就是 policy gradient, 在网上找到的资料，觉得写得非常棒，特意总结于此，以备时时查看。 https://www.jianshu.com/p/e9d47bb2dab2?utm_source=oschina-app ...
【强化学习】策略梯度（Policy Gradient，PG）算法
小蜗牛的珍贵百宝箱
01-03 2317
在强化学习中，策略是智能体在给定状态下选择动作的概率分布。策略梯度算法的核心思想是通过对策略函数的梯度进行优化，直接更新策略。目标是通过最大化某种目标函数（通常是期望回报）来找到最优策略。假设我们有一个策略参数化为 ( \pi_\theta(a|s) )，其中 ( \theta ) 是策略的参数（通常是一个神经网络的权重）。策略梯度的目标是最大化期望回报：其中，( R(\tau) ) 是从某个策略 ( \pi_\theta ) 生成的轨迹 ( \tau ) 的回报。
Policy Gradient
qq_45944185的博客
06-30 571
简介 强化学习是一个通过奖惩来学习正确行为的机制。 家族中有很多种不一样的成员，有学习奖惩值，根据自己认为的高价值选行为， 比如 Q learning, Deep Q Network, 也有不通过分析奖励值，直接输出行为的方法，这就是今天要说的 Policy Gradient 了。甚至我们可以为 Policy Gradients 加上一个神经网络来输出预测的动作。对比起以值为基础的方法，Policy Gradients 直接输出动作的最大好处就是，它能在一个连续区间内挑选动作，而基于值的，比如 Q-lear
强化学习与机器人：Policy Gradient详解及实践
- Q-learning是一种离策略的强化学习算法，它通过更新Q值表来预测每个状态动作对的未来奖励。Sarsa是一种在线的On-Policy算法，它更新的是实际执行的动作的Q值。两者的核心区别在于对未来的估计方式和策略的更新...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值