强化学习(十四) Actor-Critic

最新推荐文章于 2025-04-13 16:28:56 发布
最新推荐文章于 2025-04-13 16:28:56 发布
阅读量1.3k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 手把手教你ML机器学习算法源码全解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/98038162
本文介绍了强化学习中的Actor-Critic算法，它结合了策略和价值函数，包括Actor和Critic两个部分。Actor使用策略函数生成动作，Critic通过价值函数评估Actor表现并指导其改进。内容涵盖算法原理、可选形式、流程、实例和小结，讨论了基于状态价值、动作价值、TD误差、优势函数和TD(λ)误差等不同评估点。

　在强化学习(十三) 策略梯度(Policy Gradient)中，我们讲到了基于策略(Policy Based)的强化学习方法的基本思路，并讨论了蒙特卡罗策略梯度reinforce算法。但是由于该算法需要完整的状态序列，同时单独对策略函数进行迭代更新，不太容易收敛。

　　　　在本篇我们讨论策略(Policy Based)和价值(Value Based)相结合的方法：Actor-Critic算法。

　　　　本文主要参考了Sutton的强化学习书第13章和UCL强化学习讲义的第7讲。

1. Actor-Critic算法简介

　　　　Actor-Critic从名字上看包括两部分，演员(Actor)和评价者(Critic)。其中Actor使用我们上一节讲到的策略函数，负责生成动作(Action)并和环境交互。而Critic使用我们之前讲到了的价值函数，负责评估Actor的表现，并指导Actor下一阶段的动作。

　　　　回想我们上一篇的策略梯度，策略函数就是我们的Actor，但是那里是没有Critic的，我们当时使用了蒙特卡罗法来计算每一步的价值部分替代了Critic的功能，但是场景比较受限。因此现在我们使用类似DQN中用的价值函数来替代蒙特卡罗法，作为一个比较通用的Critic。

　　　　也就是说在Actor-Critic算法中，我们需要做两组近似，第一组是策略函数的近似：

πθ

了解本专栏 订阅专栏 解锁全文
【笔记2-4】李宏毅深度强化学习笔记（四）Actor-Critic
cindy_1102的博客
02-27 8440
李宏毅深度强化学习- Actor-CriticAsynchronous Advantage Actor-Critic (A3C)Review – Policy GradientReview – Q-LearningActor-CriticPathwise Derivative Policy Gradient 李宏毅深度强化学习课程 https://www.bilibili.com/video/a...
【强化学习】05.Actor-Critic 算法原理
songxia928_928的博客
01-19 2143
在代码中，Actor-Critic算法被应用于经典的强化学习任务。目标：通过控制推力来保持杆子直立尽可能长时间。状态空间：由4个连续变量组成：小车位置；小车速度；杆子角度；杆子角速度。动作空间：包含2个离散动作：向左施加推力；向右施加推力。奖励函数：每个时间步杆子保持直立，奖励为+1。终止条件杆子角度过大；小车偏离屏幕边界。Actor-Critic算法通过学习状态的价值函数和策略网络，能够高效地解决这一控制问题，实现稳定的杆子平衡。
Actor-Critic原理+PPO算法推导
01-20
基于李宏毅课程总结
【强化学习】演员评论家Actor-Critic算法(万字长文、附代码)
热门推荐
博主关注人工智能、强化学习、嵌入式等||985高校A+学科研究生、猿龄六年||优快云博客专家、2024年博客之星TOP33、华为云享专家、人工智能领域优质创作者。
12-20 3万+
演员评论家，Actor-Critic算法是强化学习领域的一种重要方法，结合了“演员”（Actor）和“评论家”（Critic）两个部分，它结合了值函数估计和策略优化的优点。在理解其背景时，需要从强化学习的演化历史、策略梯度方法的局限性以及如何通过值函数辅助优化策略展开。文章用一个生活中的比喻来说明它的原理。
深度强化学习 - Actor-Critic
01-30
Actor-Critic Asynchronous Advantage Actor-Critic (A3C) Pathwise Derivative Policy Gradient
李宏毅强化学习笔记【3.Actor-Critic】
*晴儿*的博客
01-25 441
复习策略梯度policy gradient 计算在某一个state，采取action a的概率。到游戏结束为止，获得多少reward。 G很不稳定。除非sample很多。 复习Q-learning 用期望代替sample，value-based 第一种方法算V，用π和环境做互动，看到s之后，累计reward期望值是多少。 第二种方法，用π，当再s采取a，累计reward是多少...
深度强化学习-Actor-Critic算法原理和实现 深度学习原理.pdf
04-13
深度强化学习-Actor-Critic算法原理和实现 Actor-Critic 算法是深度强化学习中的一种重要算法，结合了 Policy Gradient 和 Q-learning 两种算法的优点。下面我们将详细介绍 Actor-Critic 算法的原理和实现。 ...
强化学习—Actor-Critic方法
Tony Wey的博客
08-06 1533
Actor-Critic方法是强化学习中的一个重要算法，通过结合策略梯度和价值函数估计的优点，能够在高维和连续动作空间中有效学习和优化策略。通过不断的发展和改进，Actor-Critic方法已经成为处理复杂强化学习问题的强大工具。
初学强化学习-Actor-Critic
最新发布
m0_65472749的博客
04-13 1602
Actor-Critic（AC）算法是强化学习中一种结合了策略梯度方法和值函数方法的算法框架。它的核心思想是同时训练两个网络：Actor（策略网络）：决定在当前状态下采取什么动作。Critic（价值网络）：评估当前策略下某个状态或状态-动作对的价值。
矩阵对策Matlab代码-L2RPN-using-A3C:使用Actor-Critic框架进行L2RPN挑战的强化学习(https://l2r
06-13
矩阵指针Matlab代码L2RPN-使用-A3C 使用 Actor-Critic 框架进行 L2RPN 挑战 ( & ) 的强化学习。 使用此代码训练的代理是挑战的获胜者之一。 代码使用pypownet环境()。 该代码是在 LGPLv3 许可下发布的。 要求 Python >= 3.6 凯拉斯 pypownet 虚拟环境 (conda/venv) 推荐 Pypownet 安装和文档： 文件说明 PDF文件 Amar_L2RPN_IJCNN_git.pdf - 在 IJCNN-2019 的 L2RPN 研讨会上介绍该方法。 总结方法和培训方法中的想法。 Numpy 文件 valid_actions_array_uniq.npz - 有效唯一动作矩阵 valid_actions_masking_subid_perm.npz - 将变电站 Id 映射到用于屏蔽参与者输出的唯一有效动作的矩阵 Python文件 valid_switching_controls.py - 创建上述 numpy 文件的 python 文件 pypow_14_a3c_final.py - 用于使用 A3C 训练演员
actor-critic-public, "An Actor Critic Algorithm for Structured Prediction"的源代码.zip
09-17
actor-critic-public, "An Actor Critic Algorithm for Structured Prediction"的源代码 基于的序列预测演员评价纸张的参考实现( openreview，提交到 ICLR 2017 )的演员评估算法由 Dzmitry Bahdanau，Philemon Brakel，Kelvin Xu，Anirudh Goyal，Ryan
【机器学习】机器学习的基本分类-强化学习-Actor-Critic 方法
IT古董
12-24 2005
Actor-Critic 是一种结合了策略优化（Policy Gradient）和价值函数近似的强化学习算法。它通过同时训练一个 Actor（策略网络） 和一个 Critic（价值网络） 来改进学习效率和稳定性。Actor-Critic 是强化学习中的一个重要框架，通过组合策略优化与价值函数评估，实现了高效的策略学习。针对实际问题的具体需求，可以进一步结合改进算法来提高性能和适用性。
强化学习 之 Actor Critic
Test_tju的博客
07-29 729
简介 Actor Critic是一种结合体算法： （1）Actor 的前生是 Policy Gradients，这能让它毫不费力地在连续动作中选取合适的动作，而 Q-learning 做这件事会瘫痪； （2）Critic 的前生是 Q-learning 或者其他的 以值为基础的学习法，能进行单步更新，而传统的 Policy Gradients 则是回合更新，这降低了学习效率。 算法思想 Actor...
【李弘毅强化学习】6.Actor-Critic
weisiqi520的博客
05-16 491
这次课讲解的是A3C，我们先来复习一下policy gradient和Q-learing的知识。 这是PG的形式，我们把小括号中的内容叫做G，G是一堆马尔可夫链的收益和，并且抽样出一部分。但是这个过程是十分不稳定的，因为抽样的时候不知道具体会抽样那个马尔可夫链，例如下图，有的G是100，有的G是-10.如果抽到这两个，那么训练效果肯定是极差的。一般情况下我们都是把G全部求出来，之后再求期...
莫烦-强化学习-Actor Critic方法
weixin_42974513的博客
06-19 849
莫烦-强化学习-Actor Critic方法 链接: link. 6 什么是Actor Critic方法 Actor Critic (演员评判家), 它合并了 以值为基础 (比如 Q learning) 和 以动作概率为基础 (比如 Policy Gradients) 两类强化学习算法.。 Actor-Critic 的 Actor 的前生是 Policy Gradients, 这能让它毫不费力地在...
强化学习13——Actor-Critic算法
beiketaoerge的博客
01-23 1995
Actor-Critic算法结合了策略梯度和值函数的优点，我们将其分为两部分，Actor（策略网络）和Critic（价值网络）
【强化学习】Actor-Critic（演员-评论家）算法详解
谁最温柔最有派
04-22 2万+
1 Actor Critic算法简介 1.1 为什么要有Actor Critic Actor-Critic的Actor的前身是Policy Gradient，这能让它毫不费力地在连续动作中选取合适的动作，而Q-Learning做这件事会瘫痪，那为什么不直接用Policy Gradient呢，原来Actor-Critic中的Critic的前身是Q-Learning或者其他的以值为基础的学习法，能进行单步更新，而更传统的Policy Gradient则是回合更新，这降低了学习效率。 现在我们有两套不同的体系，A
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值