【强化学习】Actor-Critic公式推导分析

最新推荐文章于 2025-07-01 19:19:43 发布
最新推荐文章于 2025-07-01 19:19:43 发布
阅读量1.8w 收藏 45
点赞数 7
CC 4.0 BY-SA版权
分类专栏： 强化学习 强化学习薄荷糖 文章标签： 强化学习 actor-crit
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_37895339/article/details/74612572
本文深入探讨强化学习中的Actor-Critic算法，分析其通过价值函数估计轨迹价值以降低方差的原理，并介绍了A3C算法如何通过异步更新加速学习过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是在DQN与stochastic policy gradient基础上进行介绍，部分公式源头可以在DQN，stochastic policy gradient中找到。

一、AC算法

在之前的随机策略梯度算法中，我们可以采用类似蒙特卡洛的方法采样一条轨迹后对策略进行更新，如下所示
∇ θ J ( θ ) = 1 N ∑ i = 0 N ∑ t = 0 T [ ∇ θ log ⁡ π θ ( a i , t ∣ s i , t ) ( ∑ t ′ = t T r ( s i , t , a i , t ) − b ) ] ( 1 ) \nabla_{\theta}J(\theta)=\frac{1}{N}\sum_{i=0}^N\sum_{t=0}^T[\nabla_{\theta}\log \pi_{\theta}(a_{i,t}|s_{i,t})(\sum_{t'=t}^Tr(s_{i,t},a_{i,t})-b)] \qquad(1) ∇θ​J(θ)=N1​i=0∑N​t=0∑T​[∇θ​logπθ​(ai,t​∣si,t​)(

最低0.47元/天 解锁文章

200万优质内容无限畅学
【Actor Critic】深度强化学习算法：ActorCritic算法原理详解
AI天才研究院
08-12 1201
作者：禅与计算机程序设计艺术 1.简介 Actor-Critic（缩写为AC）是2016年提出的一种基于值函数进行强化学习的方法。它将策略网络与价值网络相结合，能够同时学习出策略并优化值函数，从而解决了离散动作环境下已知策略求解问题，使得模型可以找到最优的动作序列。 Actor-Critic算法可用于解
离线强化学习：行为规范Actor-Critic（BRAC）算法详解与Python实现
qq_42568323的博客
01-04 959
离线强化学习是一种利用预先收集的静态数据集来学习策略的强化学习方法。与在线强化学习不同，离线强化学习不需要与环境进行实时交互。行为规范Actor-Critic（BRAC）是一种离线强化学习算法，通过引入行为规范来约束策略优化，从而避免策略偏离数据集中的行为分布。本文详细介绍了行为规范Actor-Critic（BRAC）算法的核心概念，并使用Python实现了该算法。我们通过三个实际案例展示了其应用，并为每个案例选择了最适合的设计模式。
【详解+推导！！】Actor-Critic 演员评论家算法
志远的博客
04-09 2万+
Actor-Critic，演员评论家算法是强化学习中的一种很实用的方法。 比较详细的推导可以看：https://datawhalechina.github.io/easy-rl/#/chapter9/chapter9?id=actor-critic-1 文章目录1. 简介2. Review: Policy Gradient3. Review: Q-Learning3. Actor-Critic4. Advantage Actor-Critic整个过程如下：Tips：5.A3C, Asynchronous
强化学习：Policy Gradients 学习笔记
只是个人学习笔记
07-01 1603
Policy Gradient（基于 Softmax 的策略梯度算法）是强化学习中的经典策略梯度方法，通过直接优化策略函数来最大化累积奖励。
强化学习公式推导（Actor-Critic）
10-21 1406
PG算法是对整个马尔科夫链（也就是每个trajectory）进行期望计算,最终推导的得到的公式如下: ▽θRθ‾=Eτ∼πθ(τ){∑t=1T▽θlog[πθ(at∣st)]}∗{∑t=1Tr(st,at)}(1) \tag{1} \triangledown_{\theta} \overline{R_\theta}= E_{\tau \sim \pi_{\theta}(\tau)}\{\sum_{t=1}^T \triangledown_{\theta}log[\pi_{\theta}(a_t|s_t)]\
Actor-Critic(AC)算法学习
Yicen
08-14 860
强化学习策略梯度算法Actor-Critic算法学习笔记
深度强化学习cs294 Lecture6: Actor-Critic Algorithms
无所知的博客
11-28 1377
深度强化学习cs294 Lecture6: Actor-Critic Algorithms1. Improving the policy gradient with a critic2. The policy evaluation problem3. Discount factors4. The actor-critic algorithmState-dependent baselines 复习一...
【强化学习】Actor-Critic算法
rellvera的博客
10-26 1169
Actor-Critic 算法是一种综合了策略迭代和价值迭代的集成算法。Actor是利用策略梯度算法实现，Critic使用时序差分实现。Actor-Critic 算法的组成部分为：Actor（策略网络）：Actor是策略函数πθsπ_θ(s)πθ​s，是一个神经网络，它负责在给定状态下选择动作，输出每个动作的概率分布。该网络的训练目标是最大化累计回报的期望。Critic（价值网络）：Critic是值函数VπsV_π(s)Vπ​s。
【深度强化学习】(4) Actor-Critic 模型解析，附Pytorch完整代码
热门推荐
博观而约取，厚积而薄发
03-11 3万+
行动者评论家方法是由行动者和评论家两个部分构成。行动者用于选择动作，评论家评论选择动作的好坏。Critic 是评判网络，当输入为环境状态时，它可以评估当前状态的价值，当输入为环境状态和采取的动作时，它可以评估当前状态下采取该动作的价值。Actor 为策略网络，以当前的状态作为输入，输出为动作的概率分布或者连续动作值，再由 Critic 网络来评价该动作的好坏从而调整策略。
【深度强化学习】Actor-Critic算法
qq_40268672的博客
12-16 2952
Actor-Critic算法 回顾策略梯度算法： Actor-Critic算法的区别就是对R(τn)R(\tau^n)R(τn)进行了修改。 当R(τn)R(\tau^n)R(τn)具有上述三种形式时，便是经典的AC算法，在AC算法，我们通过另一个叫做Critic的神经网络来估计Vπ(st)V^{\pi}(s_{t})Vπ(st​)（或其他，视具体情况而定)。 本博客实现的便是基于TD残差的AC算法，其策略网络的梯度如下图所示 相应的Actor和Critic损失函数为： 这里ei=rtn+Vπ(st
强化学习13——Actor-Critic算法
beiketaoerge的博客
01-23 1806
Actor-Critic算法结合了策略梯度和值函数的优点，我们将其分为两部分，Actor（策略网络）和Critic（价值网络）
深度强化学习-Actor-Critic算法原理和实现 深度学习原理.pdf
04-13
深度强化学习-Actor-Critic算法原理和实现 深度学习原理.pdf
深度强化学习 - Actor-Critic
01-30
Actor-Critic Asynchronous Advantage Actor-Critic (A3C) Pathwise Derivative Policy Gradient
强化学习之Actor-Critic
qq_42498154的博客
12-04 1万+
强化学习Actor Critic1.概念2.优缺点3.原理4.代码DDPG1.概念2.优缺点A3CPPO Actor Critic 1.概念 Actor是一个神经网络 Critic也是一个神经网络，他们是不同的神经网络，Actor用于预测行为的概率，Critic是预测在这个状态下的价值。 结合了Policy Gradient（Actor）和Function Approximation（Critic）的方法，Actor基于概率选行为，Critic（可以用Q-learning或者Value-based）估计每一
Actor-critic
qq_43058281的博客
04-07 258
Actor-criticReview-Policy GradientReview-Q-learningActor-CriticAdvantage Actor-Critic(A2C)Asynchronous Advantage Actor-Critic(A3C)Pathwise Derivative Policy Gradient 李宏毅深度强化学习 学习笔记 学习资料：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html Review-Policy
Actor Critic
caoyongsheng的博客
07-04 758
我们有了像 Q-learning这么伟大的算法, 为什么还要瞎折腾出一个 Actor-Critic? 原来 Actor-Critic 的 Actor 的前生是 Policy Gradients, 这能让它毫不费力地在连续动作中选取合适的动作, 而 Q-learning 做这件事会瘫痪. 那为什么不直接用 Policy Gradients 呢? 原来 Actor Critic 中的 Critic 的...
Actor-Critic(A2C)算法 原理讲解+pytorch程序实现
qq_44949041的博客
05-06 2万+
Actor-Critic（A2C）算法时强化学习中一种基于策略梯度（Policy Gradient）和价值函数（Value Function）的强化学习方法，通常被用于解决连续动作空间和高维状态空间下的强化学习问题。本文将详细推导Actor-Critic的实现过程并且附上基于pytorch实现的代码，最后给出算法优缺点分析和使用心得。
Actor-Critic
qq_48081509的博客
01-11 1788
前沿：Actor-Critic是深度强化学习的一种算法，该算法定义两个网络，分别为策略网络Actor和评价网络Critic，其中Actor主要是用来训练策略，找出最优的动作，而Critic用来给动作进行打分，从而引导出最好的动作。 1.Critic介绍 Critic主要是用来评估actor所选动作的好坏，可以把用来给值函数做近似的网络当成Critic网络。 2.训练值函数Vπ(s)的方法 2.1 定义值函数Vπ(s) 由于策略的随机性，导致在状态s下可能会采取不同的动作，所以此处值函数取期望 2.2 M
Actor-Critic是什么，概念原理，让小白听懂，举例说明
最新发布
07-16
<think>我们正在讲解Actor-Critic算法。注意，用户要求适合初学者的解释和示例。 同时，用户提供了两个引用，但引用内容与Actor-Critic算法本身关联不大。引用[1]提到强化学习面试中注重概念理解，引用[2]提到多Agent设置。我们可以适当参考引用[1]的精神，即注重概念理解，避免过于复杂的数学推导。 因此，我们的回答重点： 1. 用通俗语言解释Actor-Critic是什么，核心思想。 2. 分解Actor和Critic各自的作用。 3. 用一个简单例子说明（比如平衡杆游戏，或者更简单的数值例子）。 4. 避免深入数学推导，但可以适当给出更新公式并解释其含义。 另外，根据用户要求，所有数学公式用$...$或$$...$$。 思路： 1. 先介绍Actor-Critic是结合了策略梯度（Policy Gradient）和值函数（Value Function）的方法。 2. Actor负责选择动作（策略），Critic负责评价动作的好坏（值函数）。 3. 用类比：Actor是运动员，Critic是教练。运动员执行动作，教练打分，运动员根据分数调整动作。 4. 算法流程：在每个时间步，Actor根据状态选择动作；环境反馈奖励和下一个状态；Critic根据状态（或状态-动作对）评估值函数（如状态值V(s)或动作值Q(s,a)）；然后Actor根据Critic的评价来更新策略（使用策略梯度），Critic根据实际回报来更新值函数（使用时间差分等）。 简单例子：平衡杆游戏（CartPole） - 状态：小车位置、速度、杆的角度、角速度 - 动作：向左推或向右推 - 奖励：每一步杆不倒就+1 - Actor：一个神经网络，输入状态，输出两个动作的概率（向左或向右） - Critic：另一个神经网络，输入状态，输出一个标量值（代表该状态的价值） 更新过程： 1. 执行动作，得到(s, a, r, s')。 2. 用Critic计算当前状态s的值V(s)和下一个状态s'的值V(s')。 3. 计算时间差分误差（TD error）: δ = r + γV(s') - V(s) (γ是折扣因子) 4. Critic更新：最小化TD误差（即用δ作为损失函数的信号） 5. Actor更新：使用策略梯度，梯度方向为：∇J(θ) ≈ δ * ∇logπ(a|s;θ) （即用δ乘以策略梯度的对数似然） 注意：这里我们只给出公式但不推导，重点解释含义：δ是Critic给Actor动作的评价，如果δ>0说明这个动作比预期的好，就增加这个动作的概率；反之减少。 最后，生成几个相关问题。 注意：用户要求生成相关问题，放在最后。</think>### Actor-Critic算法通俗解析 Actor-Critic算法是强化学习的核心方法，结合了**策略优化**（Actor）和**价值评估**（Critic）的优势。类比足球训练： - **Actor（演员/执行者）**：像前锋球员，负责根据场上状态（$s_t$）选择射门动作（$a_t$） - **Critic（评论家）**：像教练，评估动作价值（$Q(s_t,a_t)$），反馈"这脚射门值+0.7分" #### 核心原理（附流程示意图） ```mermaid graph LR A[状态 s_t] --> B[Actor策略网络] B --> C[动作 a_t] C --> D[环境反馈奖励 r] D --> E[Critic价值网络] E --> F[计算TD误差 δ] F -->|更新| B F -->|更新| E ``` 1. **Actor策略网络** 输入状态$s_t$，输出动作概率分布（例如：向左推杆概率=70%，向右=30%） 目标：**最大化长期累积奖励** $G_t = \sum \gamma^k r_{t+k}$（$\gamma$为折扣因子） 2. **Critic价值网络** 评估状态-动作价值函数 $Q(s_t,a_t)$ 核心计算 **TD误差**（时间差分误差）: $$ \delta_t = r_t + \gamma Q(s_{t+1},a_{t+1}) - Q(s_t,a_t) $$ - $\delta_t>0$：当前动作优于预期，应加强该动作 - $\delta_t<0$：当前动作差于预期，应减弱该动作 3. **协同更新机制** - Actor根据$\delta_t$调整策略：$\theta \leftarrow \theta + \alpha \delta_t \nabla_\theta \log \pi(a_t|s_t)$ - Critic根据$\delta_t$更新价值评估：$w \leftarrow w + \beta \delta_t \nabla_w Q(s_t,a_t)$ #### 生活化示例：平衡杆游戏（CartPole） 假设控制木杆平衡： - **状态$s_t$**：杆角度=15°，小车速度=0.2m/s - **Actor决策**：输出"向右推"（概率80%） - **环境反馈**：执行后杆保持平衡，获得奖励$r_t=+1$ - **Critic评估**： - 原预测$Q(s_t,a_t)=0.6$ - 实际$r_t + \gamma Q(s_{t+1},a_{t+1})=1+0.9×0.7=1.63$ - TD误差 $\delta_t = 1.63 - 0.6 = 1.03$ - **更新**： - Actor：增加"向右推"动作的概率 - Critic：提高类似状态的动作价值预测 > 💡 **关键优势** > 1. 比纯策略梯度（如REINFORCE）更稳定：Critic提供**实时反馈**，减少随机性[^1] > 2. 比纯值函数（如Q-learning）更灵活：Actor直接输出**连续动作**（如方向盘转角） > 3. 适用于**高维状态空间**（如图像输入） #### 典型应用场景 - **游戏AI**：训练《Dota2》英雄的走位策略 - **机器人控制**：机械臂抓取物体时的力度调整 - **自动驾驶**：根据路况连续调节方向盘角度 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值