本文探讨了Value Based强化学习方法的不足，如处理连续动作、受限状态和随机策略问题，引出了Policy Based强化学习方法，特别是策略梯度。介绍了策略梯度的优化目标、策略函数设计、蒙特卡罗策略梯度算法（reinforce）以及策略梯度在CartPole-v0游戏中的应用实例。最后，指出了蒙特卡罗策略梯度的局限性，预示了Actor-Critic方法的可能性。
在前面讲到的DQN系列强化学习算法中，我们主要对价值函数进行了近似表示，基于价值来学习。这种Value Based强化学习方法在很多领域都得到比较好的应用，但是Value Based强化学习方法也有很多局限性，因此在另一些场景下我们需要其他的方法，比如本篇讨论的策略梯度(Policy Gradient)，它是Policy Based强化学习方法，基于策略来学习。
本文参考了Sutton的强化学习书第13章和策略梯度的论文。
1. Value Based强化学习方法的不足
DQN系列强化学习算法主要的问题主要有三点。
第一点是对连续动作的处理能力不足。DQN之类的方法一般都是只处理离散动作，无法处理连续动作。虽然有NAF DQN之类的变通方法，但是并不优雅。比如我们之前提到的经典的冰球世界(PuckWorld) 强化学习问题，具体的动态demo见这里。环境由一个正方形区域构成代表着冰球场地，场地内大的圆代表着运动员个体，小圆代表着目标冰球。在这个正方形环境中，小圆会每隔一定的时间随机改变
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
