强化学习-Chapter9-策略梯度

策略梯度的基本思想

以前，策略是通过表格表示的：

• 所有状态的动作概率存储在表格π(a|s)中。表格的每个条目由状态和动作索引。

	a₁	a₂	a₃	a₄	a₅
s₁	π(a₁|s₁)	π(a₂|s₁)	π(a₃|s₁)	π(a₄|s₁)	π(a₅|s₁)
⋮	⋮	⋮	⋮	⋮	⋮
s₉	π(a₁|s₉)	π(a₂|s₉)	π(a₃|s₉)	π(a₄|s₉)	π(a₅|s₉)

• 我们可以直接访问或更改表格中的值。

现在，策略可以通过参数化函数表示：$\pi (a|s,\theta )$，其中$\theta \in R^m$是一个参数向量。

• 该函数可以是，例如，一个神经网络，其输入是s，输出是采取每个动作的概率，参数是$\theta$。

• 优势：当状态空间很大时，表格表示在存储和泛化方面效率低下。

• 函数表示有时也写作$\pi (a,s,\theta )$、${\pi }_{\theta }(a|s)$或${\pi }_{\theta }(a,s)$。

表格和函数表示之间的差异：

• 首先，如何定义最优策略？
  • 当表示为表格时，如果它能最大化每个状态值，那么策略π是最优的。
  • 当由函数表示时，如果它能最大化某些标量指标，那么策略π是最优的。
• 第二，如何获取动作概率？
  • 在表格形式中，在$s$处采取$a$的概率可以通过查找表格策略直接获取。
  • 在函数表示的情况下，我们需要根据函数结构和参数计算$\pi (a|s,\theta )$的值。
• 第三，如何更新策略？
  • 当以表格表示时，策略$\pi$可以通过直接更改表格中的条目来更新。
  • 当以参数化函数表示时，策略$\pi$不能再以这种方式更新。相反，它只能通过更改参数$\theta$来更新。

策略梯度的基本思想很简单：

• 首先，定义最优策略的度量（或目标函数）：$J(\theta )$，它可以定义最优策略。
• 第二，基于梯度的优化算法来搜索最优策略：
  $${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }J({\theta }_t)$$

虽然这个想法很简单，但当我们尝试回答以下问题时，复杂性就出现了。

• 应该使用什么适当的度量？
• 如何计算度量的梯度？

定义最优策略的度量

有两种度量。

度量一：平均值

第一种度量是平均状态值或简称平均值。具体来说，该度量定义为
$${\bar{v}}_{\pi }=\sum _{s\in S}d(s)v_{\pi }(s)$$

• ${\bar{v}}_{\pi }$ 是状态值的加权平均。
• $d(s)\ge 0$ 是状态 $s$ 的权重。
• 由于 ${\sum }_{s\in S}d(s)=1$，我们可以将 $d(s)$ 解释为概率分布。那么，度量可以写为
  $${\bar{v}}_{\pi }=\mathbb{E}[v_{\pi }(S)]$$
  其中 $S\sim d$。

向量积形式：
$${\bar{v}}_{\pi }=\sum _{s\in \mathcal{S}}d(s)v_{\pi }(s)=d^T{v}_{\pi }$$
其中
$$v_{\pi }=[\dots ,v_{\pi }(s),\dots {]}^T\in {\mathbb{R}}^{|\mathcal{S}|}$$
$$d=[\dots ,d(s),\dots {]}^T\in {\mathbb{R}}^{|\mathcal{S}|}$$
这种表达方式在我们分析其梯度时特别有用。

分布d的选择

如何选择分布 $d$？有两种情况。

第一种情况是 $d$ 独立于策略 $\pi$。

• 这种情况相对简单，因为度量的梯度计算更容易。
• 在这种情况下，我们特别将 $d$ 表示为 $d_0$，将 ${\bar{v}}_{\pi }$ 表示为 ${\bar{v}}_{\pi }^0$。
• 如何选择 $d_0$？
  • 一种简单的方法是将所有状态视为同等重要，因此选择 $d_0(s)=1/|\mathcal{S}|$。
  • 另一种重要的情况是我们只对特定状态 $s_0$ 感兴趣。例如，在某些任务中，回合总是从同一个状态 $s_0$ 开始。那么，我们只关心从 $s_0$ 开始的长期回报。在这种情况下，
    $d_0(s_0)=1,d_0(s\ne s_0)=0$。

第二种情况是 $d$ 依赖于策略 $\pi$。

• 选择 $d$ 的一种常见方法是使用 $d_{\pi }(s)$，即在策略 $\pi$ 下的平稳分布。
• $d_{\pi }$ 的一个基本性质是它满足
  $$d_{\pi }^T{P}_{\pi }=d_{\pi }^T$$
  其中 $P_{\pi }$ 是状态转移概率矩阵。
• 选择 $d_{\pi }$ 的解释如下：
  • 如果一个状态在长期内被频繁访问，那么它更重要，应该获得更多权重。
  • 如果一个状态几乎不被访问，那么我们给它较少的权重。

度量二：平均单步奖励

第二种度量是平均单步奖励或简称平均奖励。具体来说，该度量是
$${\bar{r}}_{\pi }\doteq \sum _{s\in S}{d}_{\pi }(s)r_{\pi }(s)=\mathbb{E}[r_{\pi }(S)]$$
其中 $S\sim d_{\pi }$，表示状态$S$是根据分布$d_{\pi }$采样得到的。

• 正如其名称所示，${\bar{r}}_{\pi }$ 只是单步即时奖励的加权平均
• 权重 $d_{\pi }$ 是平稳分布。
  • 在马尔可夫决策过程（MDP）的长期运行中，状态的分布会趋于平稳
  • $d_{\pi }$描述了在策略$\pi$下，各个状态出现的长期概率分布
• 这里，$r_{\pi }(s)\doteq {\sum }_{a\in \mathcal{A}}\pi (a|s)r(s,a)$
  • $r_{\pi }(s)$表示从状态$s$开始可以获得的单步即时奖励的平均值
  • 这里$\pi (a|s)$是策略$\pi$在状态$s$下选择动作$a$的概率
  • $r(s,a)$是在状态$s$采取动作$a$后获得的即时奖励的期望。
    • 具体地，$r(s,a)=\mathbb{E}[R|s,a]={\sum }_{r}rp(r|s,a)$，其中$p(r|s,a)$是在状态$s$采取动作$a$后获得奖励$r$的概率。
    • 这意味着$r(s,a)$是通过对所有可能的奖励$r$按照其出现的概率进行加权求和得到的

一个等价的定义！

• 假设一个智能体遵循给定的策略并生成一个轨迹，其奖励为 $(R_{t+1},R_{t+2},\cdots )$。
• 沿着这个轨迹的平均单步奖励是
  $$\begin{gathered} \underset{n\to \infty }{\lim }\frac{1}{n}\mathbb{E}[R_{t+1}+R_{t+2}+\cdots +R_{t+n}|S_t=s_0] \\ =\underset{n\to \infty }{\lim }\frac{1}{n}\mathbb{E}[\sum _{k=1}^n{R}_{t+k}|S_t=s_0] \end{gathered}$$
  其中 $s_0$ 是轨迹的起始状态。

一个重要的性质是

$$\begin{array}{rl}\underset{n\to \infty }{\lim }\frac{1}{n}\mathbb{E}\left[\sum _{k=1}^n{R}_{t+k}|S_t=s_0\right]& =\underset{n\to \infty }{\lim }\frac{1}{n}\mathbb{E}\left[\sum _{k=1}^n{R}_{t+k}\right]\\ & =\sum _s{d}_{\pi }(s)r_{\pi }(s)\\ & ={\bar{r}}_{\pi }\end{array}$$

注意

• 起始状态 $s_0$ 并不重要。
• ${\bar{r}}_{\pi }$ 的两个定义是等价的。

Remarks

• remark 1：
  • 所有这些度量都是 $\pi$ 的函数。
  • 由于 $\pi$ 由 $\theta$ 参数化，这些度量是 $\theta$ 的函数。
  • 换句话说，$\theta$ 的不同值可以生成不同的度量值。
  • 因此，我们可以搜索 $\theta$ 的最优值来最大化这些度量。

这就是策略梯度方法的基本思想。

• remark 2：

  • 一个复杂之处是度量可以在折扣情况下定义，其中 $\gamma \in (0,1)$，或在无折扣情况下定义，其中 $\gamma =1$。

• remark 3：

  • 直观上，${\bar{r}}_{\pi }$ 更加短视，因为它仅考虑即时奖励，而 ${\bar{v}}_{\pi }$ 考虑所有步骤的总奖励。
  • 然而，这两种度量是相互等价的。
  • 在折扣情况下，其中 $\gamma <1$，有
    $${\bar{r}}_{\pi }=(1-\gamma ){\bar{v}}_{\pi }.$$

说明

以下度量：
$$J(\theta )=\mathbb{E}\left[\sum _{t=0}^{\infty }{\gamma }^t{R}_{t+1}\right]$$
它与我们刚刚介绍的度量有什么关系？

答案：首先，阐明并理解这个度量。

• 它从 $S_0\sim d$ 开始，然后 $A_0,R_1,S_1,A_1,R_2,S_2,...$
• $A_t\sim \pi (S_t)$ 且 $R_{t+1},S_{t+1}\sim p(R_{t+1}|S_t,A_t),p(S_{t+1}|S_t,A_t)$

然后，我们知道这个度量与平均值相同，因为

$$\begin{array}{rl}J(\theta )& =\mathbb{E}\left[\sum _{t=0}^{\infty }{\gamma }^t{R}_{t+1}\right]\\ & =\sum _{s\in \mathcal{S}}d(s)\mathbb{E}\left[\sum _{t=0}^{\infty }{\gamma }^t{R}_{t+1}|S_0=s\right]\\ & =\sum _{s\in \mathcal{S}}d(s)v_{\pi }(s)\\ & ={\bar{v}}_{\pi }\end{array}$$

度量的梯度

原理说明

给定一个度量，我们接下来

• 推导其梯度
• 然后，应用基于梯度的方法来优化该度量。

梯度计算是策略梯度方法中最复杂的部分之一！这是因为

• 首先，我们需要区分不同的度量 ${\bar{v}}_{\pi }$, ${\bar{r}}_{\pi }$, ${\bar{v}}_{\pi }^0$
• 其次，我们需要区分折扣和无折扣情况。

梯度结果总结：
$${\nabla }_{\theta }J(\theta )=\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$$

• 背景知识

  • 我们的目标是通过调整策略的参数$\theta$来优化策略，使得累计奖励（用$J(\theta )$表示）达到最大。
  • $J(\theta )$是策略性能指标
    • 它依赖于策略$\pi (a|s,\theta )$，其中$a$是动作，$s$是状态，$\theta$是策略的参数
    • $q_{\pi }(s,a)$表示在策略$\pi$下，从状态$s$采取动作$a$后的状态 - 动作价值函数，它代表了从该状态 - 动作对出发能获得的期望累积奖励。

• 公式说明

  • ${\nabla }_{\theta }J(\theta )$：这是策略性能指标$J(\theta )$关于策略参数$\theta$的梯度，可以是 ${\bar{v}}_{\pi }$，${\bar{r}}_{\pi }$，或 ${\bar{v}}_{\pi }^0$
  • "="可以表示严格相等、近似或成比例关系
  • ${\sum }_{s\in \mathcal{S}}\eta (s)$：
    • $\eta (s)$是状态分布相关的一个权重
    • ${\sum }_{s\in \mathcal{S}}$表示对所有可能的状态$s$进行求和
    • 在强化学习的上下文中，不同的状态可能对策略的整体性能有不同的贡献，$\eta (s)$可以看作是状态$s$在评估策略性能时的重要性权重。
    • 这个求和操作综合考虑了所有状态的影响。
  • ${\sum }_{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$：
    • 对于每个状态$s$，我们对所有可能的动作$a$进行求和。
    • ${\nabla }_{\theta }\pi (a|s,\theta )$是策略$\pi (a|s,\theta )$关于参数$\theta$的梯度，它表示策略在状态$s$下选择动作$a$的概率随参数$\theta$变化的速率。
    • $q_{\pi }(s,a)$是前面提到的状态 - 动作价值函数。
    • 这个乘积${\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$表示在状态$s$下，由于选择动作$a$的概率变化（由${\nabla }_{\theta }\pi (a|s,\theta )$表示）对策略性能（由$q_{\pi }(s,a)$表示）产生的影响。

• 整体理解

  • 整个公式${\nabla }_{\theta }J(\theta )={\sum }_{s\in \mathcal{S}}\eta (s){\sum }_{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$表示策略性能指标$J(\theta )$关于策略参数$\theta$的梯度是通过综合考虑所有状态和动作来计算的。
  • 对于每个状态$s$，我们计算由于策略概率变化对每个动作$a$的性能影响（通过${\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$），并根据状态权重$\eta (s)$进行求和，最终得到策略性能指标关于参数的梯度，这个梯度可以用于更新策略参数
  • 例如在梯度上升算法中，我们可以按照梯度的方向更新参数$\theta$，以提高策略的性能。

具体梯度公式

一些具体结果：

1. $${\nabla }_{\theta }{\bar{r}}_{\pi }\simeq \sum _s{d}_{\pi }(s)\sum _a{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$$

   • ${\bar{r}}_{\pi }$是平均单步奖励，${\nabla }_{\theta }{\bar{r}}_{\pi }$表示平均单步奖励关于策略参数$\theta$的梯度。
   • $d_{\pi }(s)$是策略$\pi$下的平稳分布，表示在长期运行过程中状态$s$出现的概率。
   • ${\sum }_s$表示对所有状态$s$进行求和，这意味着我们要考虑所有可能状态的影响。对于每个状态$s$
     • ${\nabla }_{\theta }\pi (a|s,\theta )$是策略$\pi (a|s,\theta )$关于参数$\theta$的梯度，它描述了策略在状态$s$下选择动作$a$的概率随参数$\theta$变化的速率
     • $q_{\pi }(s,a)$是状态 - 动作价值函数，表示在策略$\pi$下，从状态$s$采取动作$a$后能获得的期望累积奖励。
     • 这个乘积${\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$表示在状态$s$下，由于选择动作$a$的概率变化（由${\nabla }_{\theta }\pi (a|s,\theta )$表示）对期望累积奖励（由$q_{\pi }(s,a)$表示）产生的影响。
   • 整个右边式子通过对所有状态和动作的这种影响进行求和，来近似计算平均单步奖励关于策略参数$\theta$的梯度。

2. $${\nabla }_{\theta }{\bar{v}}_{\pi }=\frac{1}{1-\gamma }{\nabla }_{\theta }{\bar{r}}_{\pi }$$

   • ${\bar{v}}_{\pi }$通常是与策略$\pi$相关的价值函数（可能是某种折扣累积价值）
   • $\gamma$是折扣因子（$0\le \gamma <1$），用于衡量未来奖励的重要性。
     • 当$\gamma$接近$1$时，未来奖励的重要性较高；
     • 当$\gamma$接近$0$时，更注重当前奖励。
   • 公式表明，策略$\pi$相关价值函数关于策略参数$\theta$的梯度${\nabla }_{\theta }{\bar{v}}_{\pi }$与平均单步奖励关于策略参数$\theta$的梯度${\nabla }_{\theta }{\bar{r}}_{\pi }$之间存在一个比例关系，比例系数是$\frac{1}{1-\gamma }$。
   • 这意味着如果我们知道了${\nabla }_{\theta }{\bar{r}}_{\pi }$，就可以很容易地计算出${\nabla }_{\theta }{\bar{v}}_{\pi }$
   • 反之亦然。这种关系在基于梯度的策略优化过程中非常有用。

3. $${\nabla }_{\theta }{\bar{v}}_{\pi }^0=\sum _{s\in \mathcal{S}}{\rho }_{\pi }(s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$$

   • ${\bar{v}}_{\pi }^0$可能是某种初始状态下或者特殊定义下的价值函数关于策略参数$\theta$的梯度。
   • ${\rho }_{\pi }(s)$可能是另一种状态分布相关的权重（与前面的$d_{\pi }(s)$类似，但可能有不同的定义或者用途）。
   • 同样，右边式子是对所有状态$s$和动作$a$进行求和。${\sum }_{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$的含义与第一个公式中的类似，是在状态$s$下由于策略概率变化对期望累积奖励产生的影响。
   • ${\sum }_{s\in \mathcal{S}}{\rho }_{\pi }(s)$表示根据状态分布${\rho }_{\pi }(s)$对所有状态的这种影响进行加权求和，从而得到${\nabla }_{\theta }{\bar{v}}_{\pi }^0$，即这个特殊价值函数关于策略参数$\theta$的梯度。
   • 这种计算方式有助于我们在特定的条件或者假设下（由${\rho }_{\pi }(s)$和${\bar{v}}_{\pi }^0$的定义决定）来优化策略的参数。

紧凑的梯度公式形式

一种紧凑且实用的梯度形式：
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)\\ & =\mathbb{E}[{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)]\end{array}$$

其中 $S\sim \eta$ 且 $A\sim \pi (A|S,\theta )$。

• 公式拆解
  • ${\nabla }_{\theta }J(\theta )={\sum }_{s\in \mathcal{S}}\eta (s){\sum }_{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$：上文已解释
  • $\mathbb{E}[{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)]$
    • ${\nabla }_{\theta }\ln \pi (A|S,\theta )$：这是对数策略 $\ln \pi (A|S,\theta )$ 关于参数 $\theta$ 的梯度。
      • 使用对数策略的梯度有很多好处，例如在数值计算上更稳定，并且在推导过程中可以简化计算。
    • $q_{\pi }(S,A)$：与前面的 $q_{\pi }(s,a)$ 类似，只不过这里使用大写字母 $S$ 和 $A$ 表示随机变量，分别代表状态和动作。
    • $\mathbb{E}[\cdot ]$：数学期望运算符。
      • $S\sim \eta$ 表示状态 $S$ 是从分布 $\eta$ 中采样得到的
      • $A\sim \pi (A|S,\theta )$ 表示动作 $A$ 是在状态 $S$ 下根据策略 $\pi (A|S,\theta )$ 采样得到的。
    • 整个式子表示对 ${\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)$ 取数学期望，也就是考虑所有可能的状态 - 动作对的平均情况。
• 公式推导逻辑：从 ${\sum }_{s\in \mathcal{S}}\eta (s){\sum }_{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$ 到 $\mathbb{E}[{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)]$ 的推导主要基于以下两个关键步骤：
  • 利用对数求导法则
    • 根据对数求导法则，对于函数 $y=f(x)$，有 $\nabla \ln y=\frac{\nabla y}{y}$。
    • 将其应用到策略 $\pi (a|s,\theta )$ 上，可得：${\nabla }_{\theta }\ln \pi (a|s,\theta )=\frac{{\nabla }_{\theta }\pi (a|s,\theta )}{\pi (a|s,\theta )}$
    • 移项得到：${\nabla }_{\theta }\pi (a|s,\theta )=\pi (a|s,\theta ){\nabla }_{\theta }\ln \pi (a|s,\theta )$
  • 引入数学期望
    • 将 $${\nabla }_{\theta }\pi (a|s,\theta )=\pi (a|s,\theta ){\nabla }_{\theta }\ln \pi (a|s,\theta )$$ 代入 $$\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a|s,\theta )q_{\pi }(s,a)$$ 中，得到：
      $$\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}\pi (a|s,\theta ){\nabla }_{\theta }\ln \pi (a|s,\theta )q_{\pi }(s,a)$$
    • 根据数学期望的定义，对于离散随机变量 $X$ 和概率分布 $p(x)$，有 $\mathbb{E}[X]={\sum }_{x}p(x)X(x)$。
      • 在这里，状态 $S$ 按照分布 $\eta$ 采样，动作 $A$ 按照策略 $\pi (A|S,\theta )$ 从状态 $S$ 中采样，所以：
        $$\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}\pi (a|s,\theta ){\nabla }_{\theta }\ln \pi (a|s,\theta )q_{\pi }(s,a)=\mathbb{E}[{\nabla }_{\theta }\ln \pi (A|S,\theta )q_{\pi }(S,A)]$$

为什么这个表达式有用？

• 因为我们可以使用样本来近似梯度！即采样得到${\nabla }_{\theta }J\approx {\nabla }_{\theta }\ln \pi (a|s,\theta )q_{\pi }(s,a)$

注意：由于我们需要计算 $\ln \pi (a|s,\theta )$，我们必须确保对于所有的 $s,a,\theta$
$$\pi (a|s,\theta )>0$$

• 这可以通过使用 softmax 函数来实现，该函数可以将向量中的元素从 $(-\infty ,+\infty )$ 归一化到 $(0,1)$。

• 例如，对于任何向量 $x=[x_1,\dots ,x_n{]}^T$，
  $$z_i=\frac{e^{x_i}}{{\sum }_{j=1}^n{e}^{x_j}}$$
  其中 $z_i\in (0,1)$ 且 ${\sum }_{i=1}^n{z}_i=1$。

• 然后，策略函数具有以下形式：
  $$\pi (a|s,\theta )=\frac{e^{h(s,a,\theta )}}{{\sum }_{a^{\prime }\in \mathcal{A}}{e}^{h(s,a^{\prime },\theta )}}$$
  其中 $h(s,a,\theta )$ 是另一个函数。

• 这种基于softmax函数的形式可以通过神经网络实现，其输入是 $s$ 且参数是 $\theta$。该网络有 $|\mathcal{A}|$ 个输出，每个输出对应一个动作 $a$ 的 $\pi (a|s,\theta )$。输出层的激活函数应为softmax。

• 由于对所有 $a$ 都有 $\pi (a|s,\theta )>0$，参数化的策略是随机的，因此具有探索性。

• 也存在确定性策略梯度（DPG）方法。

随机梯度上升（强化学习）

现在，我们准备介绍第一个策略梯度算法来寻找最优策略！

• 梯度上升算法最大化 $J(\theta )$ 是：
  $$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {\nabla }_{\theta }J(\theta )\\ & ={\theta }_t+\alpha \mathbb{E}\left[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)q_{\pi }(S,A)\right]\end{array}$$

• 真正的梯度可以被随机梯度替代：
  $${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)q_{\pi }(s_t,a_t)$$

• 此外，由于 $q_{\pi }$ 是未知的，可以进行近似：
  $${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)q_t(s_t,a_t)$$

有不同的方法来近似 $q_{\pi }(s_t,a_t)$

• 在本文中，使用基于蒙特卡洛的方法，REINFORCE

remark1：如何进行采样？
$${\mathbb{E}}_{S\sim d,A\sim \pi }\left[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)q_{\pi }(S,A)\right]⟶{\nabla }_{\theta }\ln \pi (a|s,{\theta }_t)q_{\pi }(s,a)$$

• 如何采样 $S$？
• $S\sim d$，其中分布 $d$ 是 $\pi$ 下的长期行为。
• 如何采样 $A$？
• $A\sim \pi (A|S,\theta )$。因此，$a_t$ 应该在 $s_t$ 下按照 $\pi ({\theta }_t)$ 进行采样。
• 因此，策略梯度方法是on-policy。

remark2：如何解释这个算法？

由于
$${\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)=\frac{{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)}{\pi (a_t|s_t,{\theta }_t)}$$

算法可以重写为

$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)q_t(s_t,a_t)\\ & ={\theta }_t+\alpha \left(\frac{q_t(s_t,a_t)}{\pi (a_t|s_t,{\theta }_t)}\right){\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)\end{array}$$
令${\beta }_t=\frac{q_t(s_t,a_t)}{\pi (a_t|s_t,{\theta }_t)}$ 则得到算法的重要表达式：
$${\theta }_{t+1}={\theta }_t+\alpha {\beta }_t{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)$$

这是一个用于最大化 $\pi (a_t|s_t,\theta )$ 的梯度上升算法：
$${\theta }_{t+1}={\theta }_t+\alpha {\beta }_t{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)$$

当 $\alpha {\beta }_t$ 充分小时

• 如果 ${\beta }_t>0$，选择 $(s_t,a_t)$ 的概率会增加：$\pi (a_t|s_t,{\theta }_{t+1})>\pi (a_t|s_t,{\theta }_t)$，${\beta }_t$ 越大，增强效果越强。
  • 当 ${\beta }_t>0$ 且学习率 $\alpha >0$ 时，$\alpha {\beta }_t$ 是一个正数。
  • 因为 $\alpha {\beta }_t$ 为正，所以更新后的参数 ${\theta }_{t+1}$ 相对于 ${\theta }_t$ 的变化方向与 ${\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)$ 的方向是一致的，即参数 $\theta$ 沿着 ${\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)$ 的方向进行更新。
  • 为什么梯度 ${\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)$ 表示函数 $\pi (a_t|s_t,\theta )$ 在 ${\theta }_t$ 处增长最快的方向
    • 从数学角度来看，对于一个多元函数 $f(\theta )$（这里 $f(\theta )=\pi (a_t|s_t,\theta )$），在某一点 ${\theta }_t$ 处的梯度 $\nabla f({\theta }_t)$ 是一个向量。
    • 设 $\theta$ 是一个 $n$ 维向量，$\theta =[{\theta }_1,{\theta }_2,\cdots ,{\theta }_n{]}^T$，函数 $f(\theta )$ 在 ${\theta }_t$ 处的梯度 $\nabla f({\theta }_t)={\left[\frac{\partial f}{\partial {\theta }_1},\frac{\partial f}{\partial {\theta }_2},\cdots ,\frac{\partial f}{\partial {\theta }_n}\right]}^T{|}_{\theta ={\theta }_t}$。
    • 考虑函数 $f(\theta )$ 在 ${\theta }_t$ 附近的一个小的变化 $\Delta \theta$，根据泰勒展开式，$f({\theta }_t+\Delta \theta )\approx f({\theta }_t)+\nabla f({\theta }_t{)}^T\Delta \theta$。这里 $\nabla f({\theta }_t{)}^T\Delta \theta =\Vert \nabla f({\theta }_t)\Vert \Vert \Delta \theta \Vert \cos \theta$，其中 $\theta$ 是 $\nabla f({\theta }_t)$ 与 $\Delta \theta$ 之间的夹角。
    • 当 $\cos \theta =1$ 时，也就是 $\Delta \theta$ 与 $\nabla f({\theta }_t)$ 方向相同时，$\nabla f({\theta }_t{)}^T\Delta \theta$ 取得最大值，此时 $f({\theta }_t+\Delta \theta )-f({\theta }_t)$ 的值最大，意味着函数 $f(\theta )$ 在 ${\theta }_t$ 处沿着 $\nabla f({\theta }_t)$ 的方向变化率最大，即增长最快。所以梯度 ${\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)$ 表示函数 $\pi (a_t|s_t,\theta )$ 在 ${\theta }_t$ 处增长最快的方向。
    • 为什么 $\pi (a_t|s_t,{\theta }_{t+1})>\pi (a_t|s_t,{\theta }_t)$
      • 由于 ${\theta }_{t+1}={\theta }_t+\alpha {\beta }_t{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)$，且 $\alpha >0$，${\beta }_t>0$。
      • 当 $\alpha {\beta }_t$ 充分小时，我们可以利用函数的一阶泰勒展开式来近似 $\pi (a_t|s_t,{\theta }_{t+1})$。设 $f(\theta )=\pi (a_t|s_t,\theta )$，则 $f({\theta }_{t+1})\approx f({\theta }_t)+\nabla f({\theta }_t{)}^T({\theta }_{t+1}-{\theta }_t)$。
      • 将 ${\theta }_{t+1}-{\theta }_t=\alpha {\beta }_t{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)$ 代入上式，得到 $\pi (a_t|s_t,{\theta }_{t+1})\approx \pi (a_t|s_t,{\theta }_t)+\alpha {\beta }_t\Vert {\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t){\Vert }^2$。
      • 因为 $\alpha >0$，${\beta }_t>0$，$\Vert {\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t){\Vert }^2>0$（除非 ${\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)$ 是零向量，但在一般情况下，梯度不为零向量），所以 $\pi (a_t|s_t,{\theta }_{t+1})\approx \pi (a_t|s_t,{\theta }_t)+\alpha {\beta }_t\Vert {\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t){\Vert }^2>\pi (a_t|s_t,{\theta }_t)$。
      • 也就是说，当 $\alpha {\beta }_t$ 充分小时，参数沿着梯度方向进行小幅度更新后，函数 $\pi (a_t|s_t,\theta )$ 的值会增大，即选择 $(s_t,a_t)$ 的概率会增加。
• 如果 ${\beta }_t<0$，那么 $\pi (a_t|s_t,{\theta }_{t+1})<\pi (a_t|s_t,{\theta }_t)$。
  • 这里反向考虑即可，把$\pi (a_t|s_t,{\theta }_{t+1})$当作上面推导过程中的$\pi (a_t|s_t,{\theta }_t)$，把$\pi (a_t|s_t,{\theta }_t)$当作$\pi (a_t|s_t,{\theta }_{t+1})$

考虑系数 ${\beta }_t$，
$${\theta }_{t+1}={\theta }_t+\alpha \left(\frac{q_t(s_t,a_t)}{\pi (a_t|s_t,{\theta }_t)}\right){\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)$$

系数 ${\beta }_t$ 可以很好地平衡探索和开发。

• 首先，${\beta }_t$ 与 $q_t(s_t,a_t)$ 成正比。

• 如果 $q_t(s_t,a_t)$ 很大，那么 ${\beta }_t$ 很大。

• 因此，算法倾向于增强具有更大值的动作。

• 其次，${\beta }_t$ 与 $\pi (a_t|s_t,{\theta }_t)$ 成反比。

• 如果 $\pi (a_t|s_t,{\theta }_t)$ 很小，那么 ${\beta }_t$ 很大。

• 因此，算法倾向于探索具有较低概率的动作。

回忆一下

$${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)q_{\pi }(s_t,a_t)$$

被替换为

$${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)q_t(s_t,a_t)$$

其中 $q_t(s_t,a_t)$ 是 $q_{\pi }(s_t,a_t)$ 的近似。

• 如果 $q_{\pi }(s_t,a_t)$ 通过蒙特卡洛估计进行近似，则该算法具有特定名称，REINFORCE。
  • 蒙特卡洛估计：基于大数定律。大数定律表明，当样本数量足够大时，样本的均值会趋近于总体的均值。蒙特卡洛估计利用这一原理，通过大量的随机样本对目标进行估计。
  • 例如：通过大量丢硬币的操作并记录硬币正反面出现的次数最终估计硬币正反面的概率
• REINFORCE 是最早和最简单的策略梯度算法之一。
• 许多其他策略梯度算法，例如actor-critic方法，可以通过扩展REINFORCE获得。

伪代码：通过蒙特卡洛进行策略梯度（REINFORCE）

• 初始化：一个参数化的函数 $\pi (a|s,\theta )$，$\gamma \in (0,1)$，且 $\alpha >0$。
• 目标：寻找最大化 $J(\theta )$ 的最优策略。
• 对于第 $k$ 次迭代，执行
  • 选择 $s_0$ 并生成一个遵循 $\pi ({\theta }_k)$ 的episode。假设episode为 {s0,a0,r1,…,sT−1,aT−1,rT}\{s_0, a_0, r_1, \ldots, s_{T-1}, a_{T-1}, r_T\}{s0​,a0​,r1​,…,sT−1​,aT−1​,rT​}。
  • 对于 $t=0,1,\dots ,T-1$，执行
    • 值更新：$q_t(s_t,a_t)={\sum }_{k=t+1}^T{\gamma }^{k-t-1}{r}_k$
    • 策略更新：${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)q_t(s_t,a_t)$
  • ${\theta }_k={\theta }_T$