《reinforcement learning：an introduction》第十三章《Policy Gradient Methods》总结

最新推荐文章于 2023-03-29 00:52:20 发布

原创

最新推荐文章于 2023-03-29 00:52:20 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#增强学习 #sutton RL #reinforcement learni #an introduction

本文介绍了强化学习中策略梯度方法的基本原理及其优势与局限性。包括REINFORCE算法、Actor-Critic方法等，并讨论了如何通过使用基线、优势函数等技巧减少算法的方差。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。

对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。

因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。

13.1 Policy Approximation and its Advantages . . . . . . . . . . . . . . . . 266
13.2 The Policy Gradient Theorem . . . . . . . . . . . . . . . . . . . . . . . 268
13.3 REINFORCE: Monte Carlo Policy Gradient . . . . . . . . . . . . . . . 270
13.4 REINFORCE with Baseline . . . . . . . . . . . . . . . . . . . . . . . . 272
13.5 Actor-Critic Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
13.6 Policy Gradient for Continuing Problems (Average Reward Rate) . . . 275
13.7 Policy Parameterization for Continuous Actions . . . . . . . . . . . . . 278

learn a parameterized policythat can select actions directly；A value function may still be used tolearnthe policy weights, but is not required for action selection.

Policy Gradient Methods方法的优缺点：

1）the policy may be a simpler function to approximate than value-function

2）Action-value methods have no natural way of finding stochastic optimal policies, whereas policy approximating methods can

3）policy parameterization is sometimes a good way of injecting prior knowledge

Better convergence properties（步长足够小，policy gradient保证不断优化policy，相应的，往往陷入local optimum）
Effective in high-dimensional or continuous action spaces（Q需要max over action）
Can learn stochastic policies（max Q over action可以近似看做是deterministic policy）

Disadvantages:
Typically converge to a local