18、近端策略优化（PPO）算法详解

近端策略优化（PPO）算法详解

在强化学习领域，策略梯度算法是一类重要的方法，但传统的策略梯度算法存在一些问题，例如理论复杂、实现困难、梯度计算成本高以及难以选择合适的参数等。近端策略优化（Proximal Policy Optimization，PPO）算法应运而生，它简单易实现、计算成本低，且无需选择复杂的参数，因此成为了最受欢迎的策略梯度算法之一。

1. PPO算法概述

PPO是一系列使用简单有效启发式方法解决信任区域约束策略优化问题的算法。它有两种变体：一种基于自适应KL惩罚，另一种基于裁剪目标。在介绍这两种变体之前，我们先对代理目标 $J_{CPI}(\theta)$ 进行简化。定义 $r_t(\theta) = \frac{\pi_{\theta}(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$，优势函数 $A^{\pi_{\theta_{old}}} t$ 简记为 $A_t$，则代理目标可表示为：
$J {CPI}(\theta) = E_t\left[\frac{\pi_{\theta}(a_t | s_t)}{\pi_{\theta_{old}}(a_t | s_t)}A^{\pi_{\theta_{old}}}_t\right] = E_t[r_t(\theta)A_t]$

2. PPO的两种变体

2.1 基于自适应KL惩罚的PPO（PPO with adaptive KL penalty）

该变体将KL约束 $E_t[KL(\pi_{\theta}(a_t | s_t) || \pi_{\theta_{old}}(a_t | s_t))] \leq