深度强化学习（DRL）算法 2 —— PPO 之 Clipped Surrogate Objective 篇

在之前的文章里介绍了 深度强化学习（DRL）算法 1 —— REINFORCE，提出了两个缺点，其中缺点一，在后续提出的 DRL 算法 PPO 解决了，今天我们就来看看大名鼎鼎的 PPO 算法。

回顾

在 REINFORCE 算法里，用于产生 $\tau$ 的策略和用来学习的策略（on-policy）是同一个，导致 $\tau$ 不能复用，使得训练效率很低。那么直觉上，是不是把这两个策略分开来，一个用来产生 $\tau$ ，一个用来学习（off-policy），是不是就可以了呢？答案是，对的！PPO 也是这么做的，接下来，我们来看看算法描述（建议先阅读 深度强化学习（DRL）算法 1 —— REINFORCE，文章接下来用文1指代这篇文章）。

算法描述

根据文1，最大期望回报表达如下：

$${\bar{R}}_{\theta }=E_{\tau \sim p_{\theta }(\tau )}[R(\tau )]=\sum _{\tau }{p}_{\theta }(\tau )R(\tau )$$

现在我们希望有一个新的策略 q，用来产生 $\tau$ ，原有策略 p 用来学习，那么我们可以对 ${\bar{R}}_{\theta }$ 做如下修改：

$${\bar{R}}_{\theta }=\sum _{\tau }{q}_{{\theta }^{\prime }}(\tau )\frac{p_{\theta }(\tau )}{q_{{\theta }^{\prime }}(\tau )}R(\tau )=E_{\tau \sim q_{{\theta }^{\prime }}(\tau )}[\frac{p_{\theta }(\tau )}{q_{{\theta }^{\prime }}(\tau )}R(\tau )]$$
（Importance Sampling）
为了写起来方便，我们用 g 来表示文1里的
$$\nabla \bar{R}(\theta )$$
，那么新的 g 如下：

$$\begin{gathered} g={\nabla }_{\theta }\sum _{\tau }{q}_{{\theta }^{\prime }}(\tau )\frac{p_{\theta }(\tau )}{q_{{\theta }^{\prime }}(\tau )}R(\tau ) \\ =\frac{1}{m}\sum _{i=1}^{m}R \end{gathered}$$