17、近端策略优化（PPO）算法详解

近端策略优化（PPO）算法详解

1. 引言

在使用策略梯度算法训练智能体时，存在两个主要挑战。一是容易出现性能崩溃的情况，即智能体突然开始表现不佳，而且一旦出现这种情况就很难恢复，因为智能体后续会生成质量较差的轨迹数据，进而影响后续的策略训练。二是在线策略算法的数据利用效率较低，因为它们无法复用数据。

近端策略优化（PPO）算法正是为了解决这两个问题而提出的。其核心思想是引入一个替代目标函数，通过保证策略的单调改进来避免性能崩溃，同时在训练过程中能够复用离线策略数据。PPO 可以通过用修改后的目标函数替代原有的目标函数 $J(\pi_{\theta})$，来扩展 REINFORCE 或 Actor - Critic 算法，从而实现更稳定、数据利用效率更高的训练。

2. 策略空间与参数空间

在深入了解 PPO 算法之前，我们需要先明确策略空间和参数空间的概念。

• 策略空间 ：在优化过程中，我们会在所有可能的策略集合中搜索一系列策略 $\pi_1, \pi_2, \pi_3, \ldots, \pi_n$，这个集合被称为策略空间 $\Pi$，即 $\Pi = {\pi_i}$。策略空间中可能存在无限多个策略。
• 参数空间 ：当策略被参数化为 $\pi_{\theta}$ 时，每个唯一的参数 $\theta$ 都对应一个策略实例。参数空间 $\Theta$ 定义为 $\Theta = {\theta \in R^m}$，其中 $m$ 是参数的数量。

虽然目标函数 $J(\pi_{\theta})$ 是