强化学习|从Policy Gradient到Proximal Policy Optimization

1. 算法的演进(PG to PPO)

2. PG

不同于参数化动作价值函数，PG选择参数化策略$\pi (a|s,\theta )$。

策略参数的学习方法都基于某种性能度量$J(\theta )$的梯度，这些梯度是标量$J(\theta )$对策略参数的梯度。这些方法的目标是最大化性能指标，所以他们的更新近似于$J$的梯度上升
$${\theta }_{t+1}={\theta }_t+\nabla J(\mathbf{\theta })$$
在分幕式任务中，性能指标$J(\theta )$被定义为：在当前参数化策略下初始状态的价值函数；在持续性任务中，性能指标被定义为：平均收益。[我们的性能度量必须要符合这两个定义吗？像PPO的$J(\theta )$已经变得面目全非了，那它本质上是不是还归类为上面两类？那在实际问题中的性能指标呢？]

2.1 蒙特卡洛策略梯度

sutton书上的推导比较难懂，但更加严谨，李宏毅公开课上的推导容易理解。

主要思想:
采用蒙特卡洛法进行采样，用样本的均值来近似期望。

推导过程:
$$\begin{array}{rl}\nabla J(\mathbf{\theta })& \propto \sum _s\mu (s)\sum _a{q}_{\pi }(s,a)\nabla \pi (a\mid s,\mathbf{\theta })(策略梯度定理)\\ & ={\mathbb{E}}_{\pi }\left[\sum _a{q}_{\pi }\left(S_t,a\right)\nabla \pi \left(a\mid S_t,\mathbf{\theta }\right)\right]\\ & 把对随机变量所有可能的求和运算都化为对\pi 的期望，再对期望采样\\ & ={\mathbb{E}}_{\pi }\left[\sum _a\pi \left(a\mid S_t,\mathbf{\theta }\right)q_{\pi }\left(S_t,a\right)\frac{\nabla \pi \left(a\mid S_t,\mathbf{\theta }\right)}{\pi \left(a\mid S_t,\mathbf{\theta }\right)}\right]\\ & ={\mathbb{E}}_{\pi }\left[q_{\pi }\left(S_t,A_t\right)\frac{\nabla \pi \left(A_t\mid S_t,\mathbf{\theta }\right)}{\pi \left(A_t\mid S_t,\mathbf{\theta }\right)}\right]（用采样A_t\backsim \pi 替换a）\\ & ={\mathbb{E}}_{\pi }\left[G_t\frac{\nabla \pi \left(A_t\mid S_t,\mathbf{\theta }\right)}{\pi \left(A_t\mid S_t,\mathbf{\theta }\right)}\right]\\ & \approx \frac{1}{N}\sum _{n=1}^N\end{array}$$