强化学习系列之 Proximal Policy Optimization（PPO）

1、前言

个人感觉这里讲的非常好：https://spinningup.openai.com/en/latest/algorithms/ppo.html

Proximal Policy Optimization（PPO）是 Policy Gradient 的一种变形，关于 Policy Gradient 有兴趣的同学可以去看我另一篇博：强化学习系列之Policy Gradient

首先我们需要了解两个概率：On-policy 和 Off-policy。我们知道在强化学习里面，我们要学习的就是一个 Agent 。如果我们要学习的 Agent 和与环境互动的 Agent 是同一个的话，那么这样叫做 On-policy，反之就是 Off-policy。更形象地来说，就是要学习的那个 Agent 一边与环境互动一边学习，这样就是 On-policy；如果他在旁边看别人玩，来学习的话，叫做 off-policy。

在 Policy Gradient 中，我们知道，每一次更新，我们都需要 sample 很多 data，更新后，这些 data 就没有用了，Proximal Policy Optimization就是解决的这个问题。

2、重要性采样

重要性采样是一个通用的方法，因为后面需要用到，所以在这写一下，这个我也有单独写一个博客，有兴趣的可以去看一下。

重要性采样是用一个新的采样分布来代替原有的采样分布，使得采样更加容易或高效。
$$\begin{array}{rl}{E}_{x\sim p}[f(x)]& =\int f(x)p(x)dx\\ & \\ & =\int f(x)\frac{p(x)}{q(x)}q(x)dx\\ & \\ & =E_{x\sim q}[f(x)\frac{p(x)}{q(x)}]\end{array}$$
从式子中我们可以看出，我们不直接从 $p(x)$ 里面采样，而是从 $q(x)$ 里面采样，但是由于两个分布之间有差异，所以我们乘以一个 $\frac{p(x)}{q(x)}$ 以消除这两个分布间的差异。

3、公式推导

在 Policy Gradient 中，我们对 Reward 的期望求梯度：
$$\begin{array}{rl}\nabla \overline{R_{\theta }}& =E_{\tau \sim p_{\theta }(\tau )}[R(\tau )\nabla \log p_{\theta }(\tau )]\\ & \end{array}$$
根据重要性采样变换后：
$$\begin{array}{rl}\nabla \overline{R_{\theta }}& =E_{\tau \sim p_{{\theta }^{\prime }}(\tau )}[\\ & \end{array}$$