15、策略梯度方法全面解析

策略梯度方法全面解析

1. 性能量化与目标函数

在优化领域，为了找到最优策略，我们可以对线性参数进行大量不同值的测试。但如何量化性能呢？性能可以用一个函数 (J_{\theta}) 来表示，其中 (\theta) 是模型的参数。在遵循策略 (\pi) 时，目标函数（式 5 - 1）就是总奖励的期望。

• 式 5 - 1. 策略目标函数 ：
  [J_{\theta} \doteq \mathbb{E}_{\pi}[G \mid s, a]]

假设我们能够计算目标函数，那么挑战就在于调整策略的参数以最大化回报。一种常用的方法是使用目标函数相对于参数的梯度 (\nabla_{\theta}J_{\theta}) 来指导改进，这被称为原始梯度上升法，如式 5 - 2 所示。

• 式 5 - 2. 原始梯度上升法 ：
  [\theta \leftarrow \theta + \alpha \nabla_{\theta}J_{\theta}]

2. 策略梯度定理推导

我们的目标是计算总奖励相对于策略参数的梯度，这能告诉我们如何调整参数以增加奖励。但这依赖于计算目标函数的梯度（式 5 - 1），这并非易事，因为求导需要一些复杂的数学运算，且梯度上升法假设数据分布是平稳的，而基于策略的智能体在生成轨迹的同时会更新策略，这就像站在地毯上拉地毯一样困难。下面是策略梯度的推导过程：

• 式 5 - 3. 策略的梯度 ：
  [