【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）

 

【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）（本文）

【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法

【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea）

【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法

【李宏毅深度强化学习笔记】5、Q-learning用于连续动作 (NAF算法)

【李宏毅深度强化学习笔记】6、Actor-Critic、A2C、A3C、Pathwise Derivative Policy Gradient

【李宏毅深度强化学习笔记】7、Sparse Reward

【李宏毅深度强化学习笔记】8、Imitation Learning

 

-------------------------------------------------------------------------------------------------------

【李宏毅深度强化学习】视频地址：https://www.bilibili.com/video/av63546968?p=1

课件地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html

-------------------------------------------------------------------------------------------------------

回顾

 

在强化学习中，主要有三个部件(components)：actor、environment、reward function。其中env和reward function是事先就定好的，你不能控制的。唯一能调整的是actor的policy，使actor能获得最大的reward。

policy是actor中起决策作用的一个东西，决定了actor的行为。就是说输入什么状态（state）要输出什么动作（action）。 

这里以来代表policy。在深度强化学习中，policy是通常使用network来实现，network中会包含很多参数，这里就用来统一代表这些参数。

 这里以游戏画面作为输入，经过红框的网络（policy）决策后，得出采取各种动作的几率，所以最终得出做left这个动作。

（类似于图像分类，看到什么图像，分成哪几类。只是这里的类别是要做出的动作）

一个例子：

初始的游戏画面作为  ，针对  采取的动作为  ，行动后会得到一个reward记为  。之后会看到下一个游戏画面 ...