强化学习-Chapter10-Actor-Critic Methods

介绍

Actor-critic方法仍然是策略梯度方法。

• 它们强调结合策略梯度和基于价值的方法的结构。

什么是“actor”和“critic”？

• 在这里，“actor”指的是策略更新。之所以称为actor，是因为策略将被应用来采取行动。
• 在这里，“critic”指的是策略评估或价值估计。之所以称为critic，是因为它通过评估策略来批评策略。

最简单的actor-critic（QAC）

Actor - Critic 算法结合了策略梯度（Actor）和值函数估计（Critic）两种方法。Actor 负责根据当前策略选择动作，而 Critic 负责评估这些动作的价值，二者相互协作以优化策略。

策略梯度

1. 标量度量 $J(\theta )$，可以是 ${\bar{v}}_{\pi }$ 或 ${\bar{r}}_{\pi }$。
2. 最大化 $J(\theta )$ 的梯度上升算法是
   $$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {\nabla }_{\theta }J({\theta }_t)\\ & ={\theta }_t+\alpha E_{S\sim \eta ,A\sim \pi }\left[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)q_{\pi }(S,A)\right]\end{array}$$
3. 随机梯度上升算法是
   $${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)q_t(s_t,a_t)$$

我们可以从这个算法中看到“actor”和“critic”：

• 这个算法对应于actor！
• 估计 $q_t(s,a)$ 的算法对应于critic！

如何获取 $q_t(s_t,a_t)$？

到目前为止，我们研究了两种估计动作值的方法：

• 蒙特卡洛学习：如果使用MC，则相应的算法称为REINFORCE或蒙特卡洛策略梯度。
  • 我们在上次讲座中介绍过。
• 时间差分学习：如果使用TD，则这种算法通常称为actor-critic。
  • 我们将在本文介绍。

QAC

• 目标：通过最大化 $J(\theta )$ 寻找最优策略。
  • 这里的 $J(\theta )$ 通常是策略 $\pi (a|s,\theta )$ 的长期累积奖励的期望，它衡量了策略 $\theta$ 的优劣程度。
  • 算法的核心就是不断调整策略参数 $\theta$，使得 $J(\theta )$ 达到最大值。
• 在每个episode中的时间步$t$，执行以下操作：
  • 生成$a_t$，遵循$\pi (a|s_t,{\theta }_t)$，观察$r_{t+1},s_{t+1}$，然后生成$a_{t+1}$，遵循$\pi (a|s_{t+1},{\theta }_t)$
    • 在每个时间步 $t$，首先根据当前的策略 $\pi (a|s_t,{\theta }_t)$ 生成动作 $a_t$ 并执行该动作
    • 执行动作后，环境会反馈一个奖励 $r_{t+1}$ 和下一个状态 $s_{t+1}$。接着，再根据当前策略 $\pi (a|s_{t+1},{\theta }_t)$ 生成下一个动作 $a_{t+1}$
    • 这一步骤是智能体与环境进行交互的过程，通过不断地选择动作并观察环境的反馈，智能体可以逐渐了解不同动作在不同状态下的效果
  • Critic（价值更新）：
    $$w_{t+1}=w_t+{\alpha }_w\left[r_{t+1}+\gamma q(s_{t+1},a_{t+1},w_t)-q(s_t,a_t,w_t)\right]{\nabla }_{w}q(s_t,a_t,w_t)$$
    • Critic 的主要任务是估计状态 - 动作对的价值，即 $q(s,a,w)$，其中 $w$ 是价值函数的参数
    • 公式解释：
      • $r_{t+1}+\gamma q(s_{t+1},a_{t+1},w_t)$ 是目标值，也称为 TD 目标（Temporal Difference target）。其中，$r_{t+1}$ 是当前时间步获得的即时奖励，$\gamma$ 是折扣因子（$0\le \gamma \le 1$），用于衡量未来奖励的重要性，$q(s_{t+1},a_{t+1},w_t)$ 是下一个状态 - 动作对的估计价值。
      • $q(s_t,a_t,w_t)$ 是当前状态 - 动作对的估计价值。
      • $r_{t+1}+\gamma q(s_{t+1},a_{t+1},w_t)-q(s_t,a_t,w_t)$ 是 TD 误差（Temporal Difference error），它衡量了当前估计价值与目标值之间的差异。
      • ${\alpha }_w$ 是 Critic 的学习率，控制着每次更新时参数 $w$ 的调整幅度。
      • ${\nabla }_{w}q(s_t,a_t,w_t)$ 是价值函数 $q(s_t,a_t,w)$ 关于参数 $w$ 的梯度，用于指示参数更新的方向。
    • 更新目的：通过不断地更新参数 $w$，使得价值函数 $q(s,a,w)$ 能够更准确地估计状态 - 动作对的价值。
  • Actor（策略更新）：
    $${\theta }_{t+1}={\theta }_t+{\alpha }_{\theta }{\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)q(s_t,a_t,w_{t+1})$$
    • Actor 的任务是根据 Critic 提供的价值信息来调整策略参数 $\theta$
    • 公式解释：
      • ${\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)$ 是策略 $\pi (a_t|s_t,\theta )$ 的对数似然关于参数 $\theta$ 的梯度。根据策略梯度定理，这个梯度可以用于指导策略的更新方向。
      • $q(s_t,a_t,w_{t+1})$ 是当前状态 - 动作对的估计价值，由更新后的 Critic 提供。它作为一个权重，用于调整策略更新的幅度。
        • 如果 $q(s_t,a_t,w_{t+1})$ 较大，说明当前动作在该状态下是一个好的选择，应该增加选择该动作的概率；
        • 反之，如果 $q(s_t,a_t,w_{t+1})$ 较小，说明当前动作不是一个好的选择，应该降低选择该动作的概率。
    • ${\alpha }_{\theta }$ 是 Actor 的学习率，控制着每次更新时参数 $\theta$ 的调整幅度。
  • 更新目的：通过不断地更新参数 $\theta$，使得策略 $\pi (a|s,\theta )$ 能够根据 Critic 的评估结果进行调整，从而逐渐趋向于最优策略。

注意：

• Critic对应于“SARSA+值函数近似”，主要估计状态 - 动作对的价值。
• Actor对应于策略更新算法。
• 该算法是on-policy（为什么PG是on-policy？）。
  • 由于策略是随机的，不需要使用类似$\epsilon$-贪婪的技术。
• 这种特定的actor-critic算法有时称为Q Actor-Critic（QAC）。
• 尽管简单，但该算法揭示了actor-critic方法的核心思想。它可以扩展以产生许多其他算法，如稍后所示。

Advantage actor-critic (A2C)

接下来，我们延伸QAC到A2C，它的核心思想是引入一个基准来减少方差。

基线不变性

性质：策略梯度对额外的基准是不变的：
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =E_{S\sim \eta ,A\sim \pi }\left[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)q_{\pi }(S,A)\right]\\ & =E_{S\sim \eta ,A\sim \pi }\left[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)\left(q_{\pi }(S,A)-b(S)\right)\right]\end{array}$$

以下对策略梯度的基线不变性进行详细解释：

• 相关符号与概念说明

  • ${\nabla }_{\theta }J(\theta )$：表示目标函数 $J(\theta )$ 关于策略参数 $\theta$ 的梯度。在强化学习中，$J(\theta )$ 通常代表策略 $\pi (A|S,\theta )$ 的长期期望回报，也就是衡量策略好坏的一个指标。我们的目标是通过调整参数 $\theta$ 来最大化 $J(\theta )$。
  • $E_{S\sim \eta ,A\sim \pi }$：这是一个期望运算符。$S\sim \eta$ 表示状态 $S$ 是从分布 $\eta$ 中采样得到的，$\eta$ 通常是环境的状态分布；$A\sim \pi$ 表示动作 $A$ 是根据策略 $\pi (A|S,\theta )$ 采样得到的。整个期望是对从状态分布 $\eta$ 中采样的状态 $S$ 以及根据策略 $\pi$ 采样的动作 $A$ 进行的。
  • ${\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)$：是策略 $\pi (A|S,\theta )$ 的对数似然关于参数 $\theta$ 的梯度在 $\theta ={\theta }_t$ 处的值。它在策略梯度算法中用于指导策略参数的更新方向，基于对数似然函数求导得到，这样做有助于计算和优化。
  • $q_{\pi }(S,A)$：是状态 - 动作价值函数，它表示在状态 $S$ 下采取动作 $A$ 后，遵循策略 $\pi$ 所获得的长期期望回报。
  • $b(S)$：是一个额外引入的基准函数，它是状态 $S$ 的标量函数，即对于每个状态 $S$，$b(S)$ 都对应一个标量值。

• 等式推导过程分析

  • 第一个等式：${\nabla }_{\theta }J(\theta )=E_{S\sim \eta ,A\sim \pi }\left[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)q_{\pi }(S,A)\right]$
    • 是策略梯度定理的一种常见形式。
    • 它表明策略的梯度可以通过对策略的对数似然梯度与状态 - 动作价值函数的乘积求期望得到。
    • 直观理解就是，通过这种方式可以根据动作的价值来调整策略，使得高价值的动作对应的策略参数朝着增加该动作选择概率的方向更新。
  • 第二个等式：
    • 要证明 $$E_{S\sim \eta ,A\sim \pi }\left[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)q_{\pi }(S,A)\right]=E_{S\sim \eta ,A\sim \pi }\left[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)\left(q_{\pi }(S,A)-b(S)\right)\right]$$我们对右边的式子进行展开：
      $$\begin{array}{rl}& E_{S\sim \eta ,A\sim \pi }[\\ =& \\ =& \end{array}$$