Policy Gradient (PG)与Proximal Policy Optimization (PPO)算法详解

参考学习课程

David Silver Reinforcement Learning
李宏毅教授强化学习

---

Value-based 与 Policy-based

强化学习可以按照方法学习策略来划分成Value-based和Policy-based两种。而在深度强化学习领域将深度学习与基于值的Q-Learning算法相结合产生了DQN算法，通过经验回放池与目标网络成功的将深度学习算法引入了强化学习算法。其中最具代表性分别是Q-Learning与Policy Gradient算法，将Q-Learning算法与深度学习相结合产生了Deep Q Network，而后又出现了将两种方式的优势结合在一起的更为优秀Actor Critic，DPG, DDPG，A3C，TRPO，PPO等算法。

比如，在一个游戏里，目前处于状态s，动作空间A为{a1, a2, a3}，现在要对动作进行选择。

1. Value-based：比较a1, a2, a3三个个动作的期待值（Q-value），选取Q最大的那个作为本次选择的动作。
2. Policy-based：有一个计算此刻选择哪个动作的函数（actor），并得到概率概率p(s,a)，根据概率p(s,a)选取动作。
   
   value-based 的典型算法是DQN，policy-based是policy gradient

Policy Gradient (PG)

基本原理

在强化学习中，环境与reward function是不能控制的，你所能改的只有actor，也就是玩家的经验策略。
对于 Policy Based 强化学习方法下，Actor就是训练的模型，也就是玩家，是一个使用参数$\theta$近似的${\pi }_{\theta }(s,a)$，然后找出最好的$\theta$。

这里是李宏毅教授视频中的一个例子：
机器先观察画面，然后做出了一个action，向right移动，这个action的奖励是$r_1=0$，然后机器又观察画面，做出了fire的action，然后观察画面，发现有外星人被击落，然后获得reward $r_2=5$。

经过很多轮$(s,a,r)$，游戏结束了。从游戏开始到游戏结束被称为一个episode，将每一个episode的 reward 相加就能得到Total reward: $R={\sum }_{t=1}^T{r}_t$ 。我们希望通过训练更好的acrtor使得R可以尽可能的大。

把每一个episode的所有s和a的序列放在一起，就是Trajectory

通过以上可得知 $\pi$在参数为$\theta$情况下时$\tau$发生的概率为：
$$\begin{gathered} p_{\theta }(\tau ) \\ =p(s_1)p_{\theta }(a_1|s_1)p(s_2|s_1,a_1)p_{\theta }(a_2|s_2)p(s_3|s_2,a_2)... \\ =p(s_1){\prod }_{t=1}^T{p}_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t) \end{gathered}$$

得到了概率之后我们就可以根据采样得到的回报值计算出数学期望:
$\overline{R_{\theta }}={\sum }_{\tau }{p}_{\theta }(\tau )R_{\tau }=E_{}$