强化学习（四）—— Actor-Critic

原创 已于 2022-03-30 17:11:08 修改 · 4.3k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #强化学习 #人工智能 #算法 #Actor-Critic

于 2022-03-29 20:37:34 首次发布

强化学习（四）—— Actor-Critic

在这里插入图片描述

1. 网络结构

  • 状态价值函数：
    V π ( s t ) = ∑ a Q π ( s t , a ) ⋅ π ( a ∣ s t ) V_\pi(s_t)=\sum_aQ_\pi(s_t,a)\cdot\pi(a|s_t) Vπ​(st​)=a∑​Qπ​(st​,a)⋅π(a∣st​)

  • 通过策略网络近似策略函数:
    π ( a ∣ s ) ≈ π ( a ∣ s ; θ ) \pi(a|s)\approx\pi(a|s;\theta) π(a∣s)≈π(a∣s;θ)
    在这里插入图片描述

  • 通过价值网络近似动作价值函数:
    q ( s , a ; W ) ≈ Q ( s , a ) q(s,a;W)\approx Q(s,a) q(s,a;W)≈Q(s,a)
    在这里插入图片描述

  • 神经网络近似后的状态价值函数:
    V ( s ; θ , W ) = ∑ a q ( s , a ; W ) ∗ π ( a ∣ s ; θ ) V(s;\theta ,W)=\sum_aq(s,a;W)*\pi(a|s;\theta) V(s;θ,W)=a∑​q(s,a;W)∗π(a∣s;θ)

  • 通过对策略网络不断更新以增加状态价值函数值。

  • 通过对价值网络不断更新来更好的预测所获得的回报。

2. 网络函数

Policy Network

  • 通过策略网络近似策略函数
    π ( a ∣ s t ) ≈ π ( a ∣ s t ; θ ) π(a|s_t)≈π(a|s_t;\theta) π(a∣st​)≈π(a∣st​;θ)
  • 状态价值函数及其近似
    V π ( s t ) = ∑ a π ( a ∣ s t ) Q π ( s t , a ) V_π(s_t)=\sum_aπ(a|s_t)Q_π(s_t,a) Vπ​(st​)=a∑​π(a∣st​)Qπ​(st​,a)
    V ( s t ; θ ) = ∑ a π ( a ∣ s t ; θ ) ⋅ Q π ( s t , a ) V(s_t;\theta)=\sum_aπ(a|s_t;\theta)·Q_π(s_t,a) V(st​;θ)=a∑​π(a∣st​;θ)⋅Qπ​(st​,a)
  • 策略学习最大化的目标函数
    J ( θ ) = E S [ V ( S ; θ ) ] J(\theta)=E_S[V(S;\theta)] J(θ)=ES​[V(S;θ)]
  • 依据策略梯度上升进行
    θ ← θ + β ⋅ ∂ V ( s ; θ ) ∂ θ \theta\gets\theta+\beta·\frac{\partial V(s;\theta)}{\partial \theta} θ←
最低0.47元/天 解锁文章
ActorCritic算法:兼具价值函数和策略的混合模型
AI架构师小马
04-08 133
Actor-Critic算法:兼具价值函数和策略的混合模型 作者：禅与计算机程序设计艺术 1. 背景介绍 强化学习是机器学习领域中一个重要的分支,其核心思想是通过与环境的交互,让智能体学会如何做出最佳决策以获得最大化的奖赏。在强化学习中,有两大类主要算
Actor-Critic 网络
深入浅出讲透复杂深奥的问题
04-28 487
对战 下一步怎么走？ 走这一步的价值如何？ 当前的地图 -> Critic网络 -> y1 当前的地图 + 选中的动作 -> Critic网络 -> y2 value1 = y1 value2 = r*y2 + reward loss1 = (value1 - value2)^2 当前地图 -> Actor网络 -> 4 个动作概率(yi) loss2 = -sum(y_truth * log(yi)) 样本：（当前地图，随机走一步） loss3 = sum(loss1
初学强化学习-Actor-Critic
m0_65472749的博客
04-13 1563
Actor-Critic（AC）算法是强化学习中一种结合了策略梯度方法和值函数方法的算法框架。它的核心思想是同时训练两个网络：Actor（策略网络）：决定在当前状态下采取什么动作。Critic（价值网络）：评估当前策略下某个状态或状态-动作对的价值。
【强化学习】演员评论家Actor-Critic算法(万字长文、附代码)
热门推荐
博主关注人工智能、强化学习、嵌入式等||985高校A+学科研究生、猿龄六年||优快云博客专家、2024年博客之星TOP33、华为云享专家、人工智能领域优质创作者。
12-20 3万+
演员评论家，Actor-Critic算法是强化学习领域的一种重要方法，结合了“演员”（Actor）和“评论家”（Critic）两个部分，它结合了值函数估计和策略优化的优点。在理解其背景时，需要从强化学习的演化历史、策略梯度方法的局限性以及如何通过值函数辅助优化策略展开。文章用一个生活中的比喻来说明它的原理。
PPO前传2：Actor-Critic架构
最新发布
熵增定律28的博客
10-23 562
强化学习（RL）的核心目标是:，供了坚实的理论基础与高效的离散控制方案；，解锁了连续动作与随机策略的表达能力；，通过协同学习机制，成为现代强化学习的主流。
【Actor-Critic】演员评论家模型
weixin_46267823的博客
03-12 2020
本博客代码部分参考了基于值函数的方法（DQN）和基于策略的方法（REINFORCE），其中基于值函数的方法只学习一个价值函数，而基于策略的方法只学习一个策略函数。那么，一个很自然的问题是，有没有什么方法既学习价值函数，又学习策略函数呢？答案就是 Actor-Critic。Actor-Critic 是囊括一系列算法的整体架构，目前很多高效的前沿算法都属于 Actor-Critic 算法。
Actor-Critic网络
guojunwu1977的博客
03-08 1044
Actor-Critic方法是一种结合了策略梯度方法（actor）和值函数近似方法（critic）的强化学习算法。这种结构设计旨在结合两种方法的优点，通过使用critic来减少actor学习过程中的方差，从而提高学习的稳定性和效率。Actor-Critic算法在处理连续动作空间和高维状态空间的问题上特别有效，因此被广泛应用于各种复杂环境的强化学习任务中。
【深度强化学习】(4) Actor-Critic 模型解析，附Pytorch完整代码
博观而约取，厚积而薄发
03-11 3万+
行动者评论家方法是由行动者和评论家两个部分构成。行动者用于选择动作，评论家评论选择动作的好坏。Critic 是评判网络，当输入为环境状态时，它可以评估当前状态的价值，当输入为环境状态和采取的动作时，它可以评估当前状态下采取该动作的价值。Actor 为策略网络，以当前的状态作为输入，输出为动作的概率分布或者连续动作值，再由 Critic 网络来评价该动作的好坏从而调整策略。
强化学习基础知识——Actor-Critic
WindGrin_的博客
04-13 1039
强化学习基础知识——Actor-Critic
深度强化学习——actor-critic算法(4)
Tandy12356_的博客
04-18 2705
θ,w）来近似，θ是策略网络的参数，w是价值网络的参数，训练的时候要更新两个神经网络的参数θ和w，但是更新θ和w的目标是不同的，更新策略网络Π的参数θ，是为了让V函数的值增加，V函数是对策略Π和状态s的评价，如果固定s，V越大则说明策略Π越好，所以很显然我们需要更新参数θ使得V的平均值（期望）增加，学习策略网络Π的时候，监督是由价值网络Q提供的，怎么理解呢？裁判是靠什么改进自己的呢？价值网络q的作用是辅助训练策略网络Π，裁判打的分数就相当于监督学习中的标签，运动员就是靠裁判打的分数来改进自己的动作。
强化学习 12 —— Actor-Critic 算法介绍与 Tensorflow 2.0 实现
靡不有初鲜克有终
08-22 5398
一、Actor-Critic 介绍 1、引入 Actor-Critic 我们还是从上篇强化学习——REINFORCE Algorithm推导出的目标函数的梯度说起： ∇θJ(θ)=Eπθ[∑t=0T−1Gt⋅∇θ  log  πθ(at∣st)] \nabla_\theta J(\theta) = E_{\pi_\theta} \left[\sum_{t=0}^{T-1}G_t\cdot \nabla_\theta\;log\;\pi_\theta(a_t|s_t) \right] ∇θ​J(θ)=Eπθ​
《强化学习》学习笔记4—— actor-critic 算法
qq_39826457的博客
09-18 1044
《强化学习》actor-critic 算法
Actor-Critic
超越神明
07-10 1126
Actor-Critic
actor-critic-public, "An Actor Critic Algorithm for Structured Prediction"的源代码.zip
09-17
actor-critic-public, "An Actor Critic Algorithm for Structured Prediction"的源代码 基于的序列预测演员评价纸张的参考实现( openreview，提交到 ICLR 2017 )的演员评估算法由 Dzmitry Bahdanau，Philemon Brakel，Kelvin Xu，Anirudh Goyal，Ryan
强化学习w/ Keras + OpenAI的实践：Actor-Critic模型
TUPUTECH的博客
08-11 3722
可以设身处地的想，这有点像让你玩一个既没有游戏规则，也没有最终目标的游戏，你只需要不停地玩，直到你赢了为止（感觉有点残忍）。不仅如此，你通过一系列动作所能达到的结果是无限的（连续观察空间）！然而，DQN通过逐步维护个更新的操作在处理这个看似不可能完成的任务时，其收敛速度快得惊人。
Actor-Critic算法
weixin_55749690的博客
08-06 3768
Actor网络是基于策略的策略梯度（policy-gradient）算法，基于概率选择行为。Actor直接按照当前策略和环境交互，然后将交互后的到的奖励直接优化当前策略。Critic网络是基于值（value）函数的Q-Learning算法，用来评判Actor网络的行为得分，Critic网络的更新采用梯度下降的方法。Critic直接通过当前的值函数获得策略与环境交互，交互得到的奖励用来优化当前值函数，进而帮助Actor进行策略更新。Actor用于选择动作，Critic评论选择该动作的好坏。Actor选择动作的
（10-1）Actor-Critic算法：Actor-Critic算法的介绍与原理
码农三叔
03-10 5029
Actor-Critic（演员-评论家）是一种强化学习算法，通常用于解决连续动作空间的问题。其一个重要特点是它允许在学习过程中同时学习策略和价值函数，从而可以有效地处理连续动作空间和高维状态空间的问题。在本章的内容中，将详细讲解Actor-Critic算法的知识，为读者步入后面知识的学习打下基础。
actor-critic代码
leetteel
10-24 646
原理
系统学习深度学习（三十六）--Actor-Critic
工作笔记
06-16 3411
转自：https://www.cnblogs.com/pinard/p/10272023.html 1.Actor-Critic算法简介 　　　　Actor-Critic从名字上看包括两部分，演员(Actor)和评价者(Critic)。其中Actor使用我们上一节讲到的策略函数，负责生成动作(Action)并和环境交互。而Critic使用我们之前讲到了的价值函数，负责评估Actor的表现，并...
强化学习策略迭代值迭代和actor-critic
04-01
### 策略迭代、值迭代与Actor-Critic方法的区别和联系 #### 定义与基本概念 策略迭代（Policy Iteration）是一种通过交替执行策略评估（Policy Evaluation）和策略改进（Policy Improvement）来优化策略的方法。其核心在于显式地维护并更新一个策略函数π(s)[^1]。 值迭代（Value Iteration）则跳过了显式的策略表示，直接通过对状态价值函数V(s)的更新逐步逼近最优解。它利用贝尔曼最优方程进行动态规划求解。 Actor-Critic方法属于强化学习中的另一大类算法，结合了基于策略的方法（Actor）和基于价值的方法（Critic）。其中，“Actor”负责生成行为策略π(a|s)，而“Critic”用于估计该策略的价值函数V(s)或动作-价值函数Q(s,a)[^2]。 --- #### 差异分析 ##### 更新方式 - **策略迭代**依赖于完整的策略评估过程，在每次迭代中计算精确的状态价值函数后再进行策略改进。 - **值迭代**省去了单独的策略评估阶段，而是通过反复应用贝尔曼最优方程直接调整状态价值函数直至收敛。 - **Actor-Critic**采用样本驱动的方式在线更新参数，无需等待整个环境模型完全建模即可完成训练。具体来说，Actor部分通常使用梯度上升法最大化期望回报；Critic部分可以估算当前策略下的价值或者优势函数作为反馈信号。 ##### 数据需求 - 策略迭代和值迭代都假设能够访问到马尔可夫决策过程(Markov Decision Process, MDP)的具体结构，即已知转移概率P以及奖励R。 - Actor-Critic不需要确切知道MDP细节，仅需观察交互产生的轨迹数据就能工作，因此更适合处理复杂高维甚至连续空间的任务场景。 ##### 收敛速度与稳定性 - 策略迭代由于每步都会重新计算新的最佳策略，理论上具有较快的收敛速率但可能面临较高的时间开销。 - 值迭代简化了流程从而提升了效率但也可能导致某些情况下无法快速找到全局最优方案。 - 对于Actor-Critic而言，虽然引入随机性和近似误差可能会降低理论上的稳定程度，但在实际应用尤其是深度强化学习领域却展现了强大的灵活性与表现力。 --- #### 联系探讨 尽管三者的实现机制存在显著差异，它们之间仍然存在着紧密关联： - 都围绕着解决同一个目标——寻找使累积折扣奖励最大化的最优控制法则展开研究； - 可视为不同维度上探索同一问题解决方案的结果体现形式各异而已; - 特别是在现代深度强化学习框架下，许多先进算法实际上综合运用了上述各类技术特点加以改良创新，比如Deep Deterministic Policy Gradient (DDPG), Proximal Policy Optimization(PPO)等均不同程度融合了value-based critic component 和policy gradient based actor mechanism 的设计理念. 以下是几种典型组合模式的例子说明: 1. Advantage Actor Critic(A2C): 使用advantage function代替原始q-value estimation提供更精准评判依据给actor learning process. 2. Trust Region Policy Optimization(TRPO)/Proximal Policy Optimization(PPO): 这些方法进一步约束了policy update step size防止过大幅度改变破坏已有成果积累. --- ```python import numpy as np def policy_iteration(env): """ 实现简单版离散型环境下的策略迭代 """ V = np.zeros(env.nS) pi = np.random.choice(env.nA, size=env.nS) while True: # 策略评估 delta = 0 for s in range(env.nS): v = sum([p * (r + gamma * V[s_]) for p, s_, r, _ in env.P[s][pi[s]]]) delta = max(delta, abs(V[s]-v)) V[s] = v if delta < theta: break # 策略提升 policy_stable = True for s in range(env.nS): old_action = pi[s] q_values = [sum([p*(r + gamma*V[s_]) for p,s_,r,_ in env.P[s][a]]) for a in range(env.nA)] best_a = np.argmax(q_values) if old_action != best_a: policy_stable=False pi[s]=best_a if policy_stable: return V, pi def value_iteration(env): """ 实现简单版离散型环境下的值迭代 """ V = np.zeros(env.nS) while True: delta = 0 for s in range(env.nS): q_values = [sum([p*(r + gamma*V[s_]) for p,s_,r,_ in env.P[s][a]]) for a in range(env.nA)] new_v = max(q_values) delta = max(delta,abs(new_v-V[s])) V[s] = new_v if delta<theta:return V,np.array([np.argmax([sum([p*(r+gamma*V[s_])for p,s_,r,_in env.P[s][a]])for a in range(env.nA)])forsinsrange(env.nS)]) ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值