强化学习(十四) Actor-Critic

最新推荐文章于 2025-01-19 15:50:25 发布
最新推荐文章于 2025-01-19 15:50:25 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 手把手教你ML机器学习算法源码全解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/98038162
本文介绍了强化学习中的Actor-Critic算法，它结合了策略和价值函数，包括Actor和Critic两个部分。Actor使用策略函数生成动作，Critic通过价值函数评估Actor表现并指导其改进。内容涵盖算法原理、可选形式、流程、实例和小结，讨论了基于状态价值、动作价值、TD误差、优势函数和TD(λ)误差等不同评估点。

　在强化学习(十三) 策略梯度(Policy Gradient)中，我们讲到了基于策略(Policy Based)的强化学习方法的基本思路，并讨论了蒙特卡罗策略梯度reinforce算法。但是由于该算法需要完整的状态序列，同时单独对策略函数进行迭代更新，不太容易收敛。

　　　　在本篇我们讨论策略(Policy Based)和价值(Value Based)相结合的方法：Actor-Critic算法。

　　　　本文主要参考了Sutton的强化学习书第13章和UCL强化学习讲义的第7讲。

1. Actor-Critic算法简介

　　　　Actor-Critic从名字上看包括两部分，演员(Actor)和评价者(Critic)。其中Actor使用我们上一节讲到的策略函数，负责生成动作(Action)并和环境交互。而Critic使用我们之前讲到了的价值函数，负责评估Actor的表现，并指导Actor下一阶段的动作。

　　　　回想我们上一篇的策略梯度，策略函数就是我们的Actor，但是那里是没有Critic的，我们当时使用了蒙特卡罗法来计算每一步的价值部分替代了Critic的功能，但是场景比较受限。因此现在我们使用类似DQN中用的价值函数来替代蒙特卡罗法，作为一个比较通用的Critic。

　　　　也就是说在Actor-Critic算法中，我们需要做两组近似，第一组是策略函数的近似：

πθ

了解本专栏 订阅专栏 解锁全文
【机器学习】机器学习的基本分类-强化学习-Actor-Critic 方法
IT古董
12-24 1759
Actor-Critic 是一种结合了策略优化（Policy Gradient）和价值函数近似的强化学习算法。它通过同时训练一个 Actor（策略网络） 和一个 Critic（价值网络） 来改进学习效率和稳定性。Actor-Critic 是强化学习中的一个重要框架，通过组合策略优化与价值函数评估，实现了高效的策略学习。针对实际问题的具体需求，可以进一步结合改进算法来提高性能和适用性。
【强化学习】Actor-Critic算法
rellvera的博客
10-26 1197
Actor-Critic 算法是一种综合了策略迭代和价值迭代的集成算法。Actor是利用策略梯度算法实现，Critic使用时序差分实现。Actor-Critic 算法的组成部分为：Actor（策略网络）：Actor是策略函数πθsπ_θ(s)πθ​s，是一个神经网络，它负责在给定状态下选择动作，输出每个动作的概率分布。该网络的训练目标是最大化累计回报的期望。Critic（价值网络）：Critic是值函数VπsV_π(s)Vπ​s。
深度强化学习 - Actor-Critic
01-30
Actor-Critic Asynchronous Advantage Actor-Critic (A3C) Pathwise Derivative Policy Gradient
李宏毅强化学习笔记【3.Actor-Critic】
*晴儿*的博客
01-25 420
复习策略梯度policy gradient 计算在某一个state，采取action a的概率。到游戏结束为止，获得多少reward。 G很不稳定。除非sample很多。 复习Q-learning 用期望代替sample，value-based 第一种方法算V，用π和环境做互动，看到s之后，累计reward期望值是多少。 第二种方法，用π，当再s采取a，累计reward是多少...
强化学习 之 Actor Critic
Test_tju的博客
07-29 674
简介 Actor Critic是一种结合体算法： （1）Actor 的前生是 Policy Gradients，这能让它毫不费力地在连续动作中选取合适的动作，而 Q-learning 做这件事会瘫痪； （2）Critic 的前生是 Q-learning 或者其他的 以值为基础的学习法，能进行单步更新，而传统的 Policy Gradients 则是回合更新，这降低了学习效率。 算法思想 Actor...
深度强化学习-Actor-Critic算法原理和实现 深度学习原理.pdf
04-13
深度强化学习-Actor-Critic算法原理和实现 Actor-Critic 算法是深度强化学习中的一种重要算法，结合了 Policy Gradient 和 Q-learning 两种算法的优点。下面我们将详细介绍 Actor-Critic 算法的原理和实现。 ...
Actor-Critic原理+PPO算法推导
01-20
Actor-Critic 原理是强化学习中的一种重要方法，主要用于解决 Sequential Decision Making 问题。该方法结合了 Actor 网络和 Critic 网络，Actor 网络负责选择动作，而 Critic 网络评估状态的价值。 Actor 网络是一...
强化学习算法-基于python的强化学习actor-critic算法实现
06-02
在这个特定的项目中，我们聚焦于Python实现的Actor-Critic算法，这是一种结合了策略梯度和值函数更新的强化学习算法。 Actor-Critic算法在强化学习中占有重要地位，因为它同时利用了策略网络（Actor）和价值网络...
矩阵对策Matlab代码-L2RPN-using-A3C:使用Actor-Critic框架进行L2RPN挑战的强化学习(https://l2r
06-13
矩阵指针Matlab代码L2RPN-使用-A3C 使用 Actor-Critic 框架进行 L2RPN 挑战 ( & ) 的强化学习。 使用此代码训练的代理是挑战的获胜者之一。 代码使用pypownet环境()。 该代码是在 LGPLv3 许可下发布的。 要求 Python >= 3.6 凯拉斯 pypownet 虚拟环境 (conda/venv) 推荐 Pypownet 安装和文档： 文件说明 PDF文件 Amar_L2RPN_IJCNN_git.pdf - 在 IJCNN-2019 的 L2RPN 研讨会上介绍该方法。 总结方法和培训方法中的想法。 Numpy 文件 valid_actions_array_uniq.npz - 有效唯一动作矩阵 valid_actions_masking_subid_perm.npz - 将变电站 Id 映射到用于屏蔽参与者输出的唯一有效动作的矩阵 Python文件 valid_switching_controls.py - 创建上述 numpy 文件的 python 文件 pypow_14_a3c_final.py - 用于使用 A3C 训练演员
actor-critic-public, "An Actor Critic Algorithm for Structured Prediction"的源代码.zip
09-17
actor-critic-public, "An Actor Critic Algorithm for Structured Prediction"的源代码 基于的序列预测演员评价纸张的参考实现( openreview，提交到 ICLR 2017 )的演员评估算法由 Dzmitry Bahdanau，Philemon Brakel，Kelvin Xu，Anirudh Goyal，Ryan
【李弘毅强化学习】6.Actor-Critic
weisiqi520的博客
05-16 461
这次课讲解的是A3C，我们先来复习一下policy gradient和Q-learing的知识。 这是PG的形式，我们把小括号中的内容叫做G，G是一堆马尔可夫链的收益和，并且抽样出一部分。但是这个过程是十分不稳定的，因为抽样的时候不知道具体会抽样那个马尔可夫链，例如下图，有的G是100，有的G是-10.如果抽到这两个，那么训练效果肯定是极差的。一般情况下我们都是把G全部求出来，之后再求期...
【笔记2-4】李宏毅深度强化学习笔记（四）Actor-Critic
cindy_1102的博客
02-27 8407
李宏毅深度强化学习- Actor-CriticAsynchronous Advantage Actor-Critic (A3C)Review – Policy GradientReview – Q-LearningActor-CriticPathwise Derivative Policy Gradient 李宏毅深度强化学习课程 https://www.bilibili.com/video/a...
莫烦-强化学习-Actor Critic方法
weixin_42974513的博客
06-19 824
莫烦-强化学习-Actor Critic方法 链接: link. 6 什么是Actor Critic方法 Actor Critic (演员评判家), 它合并了 以值为基础 (比如 Q learning) 和 以动作概率为基础 (比如 Policy Gradients) 两类强化学习算法.。 Actor-Critic 的 Actor 的前生是 Policy Gradients, 这能让它毫不费力地在...
【强化学习】演员评论家Actor-Critic算法(万字长文、附代码)
热门推荐
博主关注人工智能、强化学习、嵌入式等||985高校A+学科研究生、猿龄六年||优快云博客专家、2024年博客之星TOP33、华为云享专家、人工智能领域优质创作者。
12-20 2万+
演员评论家，Actor-Critic算法是强化学习领域的一种重要方法，结合了“演员”（Actor）和“评论家”（Critic）两个部分，它结合了值函数估计和策略优化的优点。在理解其背景时，需要从强化学习的演化历史、策略梯度方法的局限性以及如何通过值函数辅助优化策略展开。文章用一个生活中的比喻来说明它的原理。
强化学习13——Actor-Critic算法
beiketaoerge的博客
01-23 1816
Actor-Critic算法结合了策略梯度和值函数的优点，我们将其分为两部分，Actor（策略网络）和Critic（价值网络）
【强化学习】Actor-Critic（演员-评论家）算法详解
谁最温柔最有派
04-22 2万+
1 Actor Critic算法简介 1.1 为什么要有Actor Critic Actor-Critic的Actor的前身是Policy Gradient，这能让它毫不费力地在连续动作中选取合适的动作，而Q-Learning做这件事会瘫痪，那为什么不直接用Policy Gradient呢，原来Actor-Critic中的Critic的前身是Q-Learning或者其他的以值为基础的学习法，能进行单步更新，而更传统的Policy Gradient则是回合更新，这降低了学习效率。 现在我们有两套不同的体系，A
【强化学习】05.Actor-Critic 算法原理
最新发布
songxia928_928的博客
01-19 1943
在代码中，Actor-Critic算法被应用于经典的强化学习任务。目标：通过控制推力来保持杆子直立尽可能长时间。状态空间：由4个连续变量组成：小车位置；小车速度；杆子角度；杆子角速度。动作空间：包含2个离散动作：向左施加推力；向右施加推力。奖励函数：每个时间步杆子保持直立，奖励为+1。终止条件杆子角度过大；小车偏离屏幕边界。Actor-Critic算法通过学习状态的价值函数和策略网络，能够高效地解决这一控制问题，实现稳定的杆子平衡。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值