【强化学习】Actor-Critic公式推导分析

最新推荐文章于 2025-07-01 19:19:43 发布
最新推荐文章于 2025-07-01 19:19:43 发布
阅读量1.8w 收藏 45
点赞数 7
CC 4.0 BY-SA版权
分类专栏： 强化学习 强化学习薄荷糖 文章标签： 强化学习 actor-crit
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_37895339/article/details/74612572
本文深入探讨强化学习中的Actor-Critic算法，分析其通过价值函数估计轨迹价值以降低方差的原理，并介绍了A3C算法如何通过异步更新加速学习过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是在DQN与stochastic policy gradient基础上进行介绍，部分公式源头可以在DQN，stochastic policy gradient中找到。

一、AC算法

在之前的随机策略梯度算法中，我们可以采用类似蒙特卡洛的方法采样一条轨迹后对策略进行更新，如下所示
∇ θ J ( θ ) = 1 N ∑ i = 0 N ∑ t = 0 T [ ∇ θ log ⁡ π θ ( a i , t ∣ s i , t ) ( ∑ t ′ = t T r ( s i , t , a i , t ) − b ) ] ( 1 ) \nabla_{\theta}J(\theta)=\frac{1}{N}\sum_{i=0}^N\sum_{t=0}^T[\nabla_{\theta}\log \pi_{\theta}(a_{i,t}|s_{i,t})(\sum_{t'=t}^Tr(s_{i,t},a_{i,t})-b)] \qquad(1) ∇θ​J(θ)=N1​i=0∑N​t=0∑T​[∇θ​logπθ​(ai,t​∣si,t​)(

最低0.47元/天 解锁文章

200万优质内容无限畅学
【Actor Critic】深度强化学习算法：ActorCritic算法原理详解
AI天才研究院
08-12 1201
作者：禅与计算机程序设计艺术 1.简介 Actor-Critic（缩写为AC）是2016年提出的一种基于值函数进行强化学习的方法。它将策略网络与价值网络相结合，能够同时学习出策略并优化值函数，从而解决了离散动作环境下已知策略求解问题，使得模型可以找到最优的动作序列。 Actor-Critic算法可用于解
离线强化学习：行为规范Actor-Critic（BRAC）算法详解与Python实现
qq_42568323的博客
01-04 959
离线强化学习是一种利用预先收集的静态数据集来学习策略的强化学习方法。与在线强化学习不同，离线强化学习不需要与环境进行实时交互。行为规范Actor-Critic（BRAC）是一种离线强化学习算法，通过引入行为规范来约束策略优化，从而避免策略偏离数据集中的行为分布。本文详细介绍了行为规范Actor-Critic（BRAC）算法的核心概念，并使用Python实现了该算法。我们通过三个实际案例展示了其应用，并为每个案例选择了最适合的设计模式。
【详解+推导！！】Actor-Critic 演员评论家算法
志远的博客
04-09 2万+
Actor-Critic，演员评论家算法是强化学习中的一种很实用的方法。 比较详细的推导可以看：https://datawhalechina.github.io/easy-rl/#/chapter9/chapter9?id=actor-critic-1 文章目录1. 简介2. Review: Policy Gradient3. Review: Q-Learning3. Actor-Critic4. Advantage Actor-Critic整个过程如下：Tips：5.A3C, Asynchronous
强化学习：Policy Gradients 学习笔记
只是个人学习笔记
07-01 1603
Policy Gradient（基于 Softmax 的策略梯度算法）是强化学习中的经典策略梯度方法，通过直接优化策略函数来最大化累积奖励。
强化学习公式推导（Actor-Critic）
10-21 1405
PG算法是对整个马尔科夫链（也就是每个trajectory）进行期望计算,最终推导的得到的公式如下: ▽θRθ‾=Eτ∼πθ(τ){∑t=1T▽θlog[πθ(at∣st)]}∗{∑t=1Tr(st,at)}(1) \tag{1} \triangledown_{\theta} \overline{R_\theta}= E_{\tau \sim \pi_{\theta}(\tau)}\{\sum_{t=1}^T \triangledown_{\theta}log[\pi_{\theta}(a_t|s_t)]\
Actor-Critic(AC)算法学习
Yicen
08-14 860
强化学习策略梯度算法Actor-Critic算法学习笔记
深度强化学习cs294 Lecture6: Actor-Critic Algorithms
无所知的博客
11-28 1377
深度强化学习cs294 Lecture6: Actor-Critic Algorithms1. Improving the policy gradient with a critic2. The policy evaluation problem3. Discount factors4. The actor-critic algorithmState-dependent baselines 复习一...
【强化学习】Actor-Critic算法
rellvera的博客
10-26 1169
Actor-Critic 算法是一种综合了策略迭代和价值迭代的集成算法。Actor是利用策略梯度算法实现，Critic使用时序差分实现。Actor-Critic 算法的组成部分为：Actor（策略网络）：Actor是策略函数πθsπ_θ(s)πθ​s，是一个神经网络，它负责在给定状态下选择动作，输出每个动作的概率分布。该网络的训练目标是最大化累计回报的期望。Critic（价值网络）：Critic是值函数VπsV_π(s)Vπ​s。
【深度强化学习】(4) Actor-Critic 模型解析，附Pytorch完整代码
热门推荐
博观而约取，厚积而薄发
03-11 3万+
行动者评论家方法是由行动者和评论家两个部分构成。行动者用于选择动作，评论家评论选择动作的好坏。Critic 是评判网络，当输入为环境状态时，它可以评估当前状态的价值，当输入为环境状态和采取的动作时，它可以评估当前状态下采取该动作的价值。Actor 为策略网络，以当前的状态作为输入，输出为动作的概率分布或者连续动作值，再由 Critic 网络来评价该动作的好坏从而调整策略。
【深度强化学习】Actor-Critic算法
qq_40268672的博客
12-16 2952
Actor-Critic算法 回顾策略梯度算法： Actor-Critic算法的区别就是对R(τn)R(\tau^n)R(τn)进行了修改。 当R(τn)R(\tau^n)R(τn)具有上述三种形式时，便是经典的AC算法，在AC算法，我们通过另一个叫做Critic的神经网络来估计Vπ(st)V^{\pi}(s_{t})Vπ(st​)（或其他，视具体情况而定)。 本博客实现的便是基于TD残差的AC算法，其策略网络的梯度如下图所示 相应的Actor和Critic损失函数为： 这里ei=rtn+Vπ(st
强化学习13——Actor-Critic算法
beiketaoerge的博客
01-23 1806
Actor-Critic算法结合了策略梯度和值函数的优点，我们将其分为两部分，Actor（策略网络）和Critic（价值网络）
深度强化学习-Actor-Critic算法原理和实现 深度学习原理.pdf
04-13
深度强化学习-Actor-Critic算法原理和实现 深度学习原理.pdf
深度强化学习 - Actor-Critic
01-30
Actor-Critic Asynchronous Advantage Actor-Critic (A3C) Pathwise Derivative Policy Gradient
强化学习之Actor-Critic
qq_42498154的博客
12-04 1万+
强化学习Actor Critic1.概念2.优缺点3.原理4.代码DDPG1.概念2.优缺点A3CPPO Actor Critic 1.概念 Actor是一个神经网络 Critic也是一个神经网络，他们是不同的神经网络，Actor用于预测行为的概率，Critic是预测在这个状态下的价值。 结合了Policy Gradient（Actor）和Function Approximation（Critic）的方法，Actor基于概率选行为，Critic（可以用Q-learning或者Value-based）估计每一
Actor-critic
qq_43058281的博客
04-07 258
Actor-criticReview-Policy GradientReview-Q-learningActor-CriticAdvantage Actor-Critic(A2C)Asynchronous Advantage Actor-Critic(A3C)Pathwise Derivative Policy Gradient 李宏毅深度强化学习 学习笔记 学习资料：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html Review-Policy
Actor Critic
caoyongsheng的博客
07-04 757
我们有了像 Q-learning这么伟大的算法, 为什么还要瞎折腾出一个 Actor-Critic? 原来 Actor-Critic 的 Actor 的前生是 Policy Gradients, 这能让它毫不费力地在连续动作中选取合适的动作, 而 Q-learning 做这件事会瘫痪. 那为什么不直接用 Policy Gradients 呢? 原来 Actor Critic 中的 Critic 的...
Actor-Critic(A2C)算法 原理讲解+pytorch程序实现
qq_44949041的博客
05-06 2万+
Actor-Critic（A2C）算法时强化学习中一种基于策略梯度（Policy Gradient）和价值函数（Value Function）的强化学习方法，通常被用于解决连续动作空间和高维状态空间下的强化学习问题。本文将详细推导Actor-Critic的实现过程并且附上基于pytorch实现的代码，最后给出算法优缺点分析和使用心得。
Actor-Critic
qq_48081509的博客
01-11 1788
前沿：Actor-Critic是深度强化学习的一种算法，该算法定义两个网络，分别为策略网络Actor和评价网络Critic，其中Actor主要是用来训练策略，找出最优的动作，而Critic用来给动作进行打分，从而引导出最好的动作。 1.Critic介绍 Critic主要是用来评估actor所选动作的好坏，可以把用来给值函数做近似的网络当成Critic网络。 2.训练值函数Vπ(s)的方法 2.1 定义值函数Vπ(s) 由于策略的随机性，导致在状态s下可能会采取不同的动作，所以此处值函数取期望 2.2 M
Actor-Critic是什么，概念原理，让小白听懂，举例说明
最新发布
07-16
Actor-Critic算法是强化学习的核心方法，结合了**策略优化**（Actor）和**价值评估**（Critic）的优势。类比足球训练： - **Actor（演员/执行者）**：像前锋球员，负责根据场上状态（$s_t$）选择射门动作（$a_t$） ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值