广义优势估计（Generalized Advantage Estimation, 简称 GAE）

1. 背景：强化学习与策略梯度方法

为了理解广义优势估计（GAE），我们需要先回顾强化学习的基础知识，特别是策略梯度方法，因为 GAE 是策略梯度方法中的关键优化工具。

1.1 强化学习基本框架

强化学习的目标是让一个智能体通过与环境交互，学习一个策略，以最大化长期累积奖励。形式化地：

• 状态：$s_t\in \mathcal{S}$，表示智能体在时间$t$所处的环境状态。
• 动作：$a_t\in \mathcal{A}$，智能体根据策略选择的行为。
• 策略：$\pi (a|s)$，一个概率分布，表示在状态$s$下选择动作$a$的概率。通常用神经网络参数化，记为${\pi }_{\theta }(a|s)$。
• 奖励：$r_t=r(s_t,a_t)$，智能体在状态$s_t$执行动作$a_t$后从环境获得的即时奖励。
• 回报：$G_t=r_t+\gamma r_{t+1}+{\gamma }^2{r}_{t+2}+\dots$，从时间$t$开始的折扣累积奖励，其中$\gamma \in [0,1)$是折扣因子。
• 价值函数：
  • 状态价值函数：$V^{\pi }(s)={\mathbb{E}}_{\pi }[G_t|s_t=s]$，表示在状态$s$下，遵循策略$\pi$的期望回报。
  • 动作价值函数：$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }[G_t|s_t=s,a_t=a]$，表示在状态$s$采取动作$a$后的期望回报。
• 优势函数：$A^{\pi }(s,a)=Q^{\pi }(s,a)-V^{\pi }(s)$，衡量在状态$s$下选择动作$a$相比平均情况（即$V^{\pi }(s)$）的好坏。

强化学习的目标是找到最优策略${\pi }^{\ast }$，使得期望回报最大化：
$$J(\pi )={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^{t}r(s_t,a_t)\right]$$

1.2 策略梯度方法

策略梯度方法通过直接优化策略${\pi }_{\theta }(a|s)$的参数$\theta$来最大化期望回报$J(\theta )$。核心思想是计算目标函数$J(\theta )$对$\theta$的梯度${\nabla }_{\theta }J(\theta )$，并通过梯度上升更新参数：
$$\theta \leftarrow \theta +\alpha {\nabla }_{\theta }J(\theta )$$
其中$\alpha$是学习率。

根据策略梯度定理，梯度可以表示为：
$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{}$$