强化学习笔记-13 Policy Gradient Methods

原创

于 2023-06-14 19:25:17 发布 · 743 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

#笔记 #强化学习 #机器学习

强化学习中，PolicyGradient算法通过参数化决策模型直接选择动作。对于离散小动作空间，常使用判别式模型和softmax进行概率选择；在连续动作空间，生成式模型如高斯分布被采用。PolicyGradient定理指导了损失函数的构建，以优化模型。累积收益常因状态差异引入偏差，通过基线校正可以改进参数更新。Actor-Critic方法结合了策略梯度和值函数估计，进一步优化学习过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

强化学习算法主要在于学习最优的决策，到目前为止，我们所讨论的决策选择都是通过价值预估函数来间接选择的。本节讨论的是通过一个参数化决策模型 $\pi(a|s,\theta )$ 来直接根据状态 $s$ 选择动作，而不是根据价值预估函数 $v(s|w)$ 来间接选择。

我们可以定义如下Policy Gradient更新策略，来求解参数化决策模型 $\pi(a|s,\theta )$ 的参数，其中 $J(\theta_t)$ 表示用于衡量决策模型优劣的损失函数。

$\theta_{t+1} = \theta_{t} + \partial_{\theta_{t}} J(\theta_t)$

1. Policy Approximation and its Advantages

对于参数化决策模型 $\pi(a|s,\theta )$ 存在两种建模方式：生成式或判别式。

当动作空间是离散且较小时，可以采用判别式模型 $h(s,a,\theta )$ ，表示状态-动作对 $s,a$ 的优劣得分，此时 $\pi(a|s,\theta )$ 可以表示为下式，这种通过softmax求得选择动作概率，兼顾了ε-greedy动作探索的功能。另一方面在很多情况下随机动作也是最优的，softmax方式具备这种特性。

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。