Policy Gradient

本文档记录了一些国内外大学关于 policy gradient 相关内容的介绍及个人总结
* http://home.deib.polimi.it/restelli/MyWebSite/pdf/rl7.pdf
* http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching_files/pg.pdf
* http://lamda.nju.edu.cn/yuy/GetFile.aspx?File=adl-rl/ADL-RL.pdf
* http://mi.eng.cam.ac.uk/~mg436/LectureSlides/MLSALT7/L5.pdf
* https://www.scss.tcd.ie/~luzs/t/cs7032/td-notes.pdf
* http://incompleteideas.net/book/bookdraft2017nov5.pdf

方法	值函数	策略
Value-based	对值函数进行估计	隐含的
Policy-based	无值函数	对策略进行估计
Actor-critic	对值函数进行估计	对策略进行估计

简介

• 值函数估计，如 Q-Learning、Sarsa 等，可以学到一个近似确定的策略，但是收敛速度会比较慢。

• policy gradient 是自然语言处理领域应用较多的一种强化学习方法，它的优化目标为给定策略 $\pi_\theta(a|s)$，找出最合适的 $\theta$。

  • 评价策略 $\pi_\theta$：

    $$J(\theta)=\int_S\mu(s)V^{\pi(\theta)}(s)ds=\int_S d^{\pi_\theta}(s)\int_A\pi(a|s)R(s,a)dads$$

    其中 $d^{\pi(\theta)}$ 为策略 $\pi(\theta)$ 平稳分布。

  • 参数更新：

    $$\theta_{\pi'}=\theta_\pi+\alpha\frac{dJ(\theta)}{d\theta}|_{\theta=\theta_{\pi}}$$

• 与理论上可以达到最优策略的值函数估计相比，policy gradient 常常得到的是局部极小值。

Policy Gradient Methods

Finite Difference Methods (FD)

• 特点

  • black-box
  • 简单
  • 易受噪音干扰
  • 效率较低
  • 即使策略不可微分也适用

• 主要思想：对目标函数参数 $\theta$ 各个维度分别求偏导

  • $u_k$：第 $k$ 维为 1 的单位向量
  • $\epsilon$：步长

  • 更新策略：

    $$\Delta\theta_k=\epsilon u_k$$
    $$\Delta J_k=\frac{\partial J(\theta)}{\theta_k}\approx \frac{J(\theta +\epsilon u_k)-J(\theta)}{\epsilon}$$
    $$g_{FD}=(\Delta\Theta^\top\Delta\Theta)^{-1}\Delta\Theta^\top\Delta J$$

Likelihood Ratio Methods

• 特点

  • white-box
  • 加入探索（随机因素）的策略
  • 充分利用策略的相关知识
  • 假设策略梯度已知

• 主要思想：基于已知的策略梯度进行计算

  $\tau$ 是什么？？？一条采样轨迹？？？

  • 策略的目标函数（评价策略）：

    $$J(\theta)=\int_{\mathbb{T}}p_\theta(\tau|\pi)R(\tau)d\tau$$

  • 目标函数的梯度：

    $$\nabla_\theta J(\theta)=\nabla_\theta\int_{\mathbb{T}}p_\theta(\tau|\pi)R(\tau)d\tau=\int_{\mathbb{T}}\nabla_\theta p_\theta(\tau|\pi)R(\tau)d\tau$$

    其中：

    $$\nabla_\theta p_\theta(\tau|\pi)=p_\theta(\tau|\pi)\nabla_\theta\log p_\theta(\tau|\pi)$$

    代入，有：

    $$\nabla_\theta J(\theta)=\int_{\mathbb{T}}p_\theta(\tau|\pi)\nabla_\theta\log p_\theta(\tau|\pi)R(\tau)d\tau = \mathbb{E}[\nabla_\theta\log p_\theta(\tau|\pi)R(\tau)]\approx \frac{1}{K}\sum_{k=1}^K\nabla_\theta\log p_\theta(\tau_k|\pi)R(\tau_k)$$

    得到上式，可以发现只要通过采样就能够计算出目标函数的梯度了。对于采样得到的轨迹 $\tau$ 的概率 $p_\theta(\tau)$，有：

    $$p_\theta(\tau)=\mu(s_1)\prod_{t=1}^T P(s_{t+1}|s_t,a_t)\pi_\theta(a_t|s_t)$$

    对上式取对数，由于 $\mu(s_1)$ 和 $P(s_{t+1}|s_t,a_t)$ 是确定的，可以得到：

    $$\log p_\theta(\tau)=\sum_{t=1}^T\log\pi_\theta(a_t|s_t)+\text{const}$$

    求导可得：

    $$\nabla_\theta\log p_\theta(\tau)=\sum_{t=1}^T\nabla_\theta\log\pi_\theta(a_t|s_t)$$

• Characteristics Eligibility：在之前采样轨迹的梯度的基础上形式化定义如下：

  $$\nabla_\theta\log\pi_\theta(a|s)$$

  • Softmax Policy

    对状态-动作对定义了特征向量 $\phi(s,a)$，对应的策略为 $\pi_\theta(s,a)\propto e^{\phi(s,a)^\top\theta}$，有：

    $$\nabla_\theta\log\pi_\theta(a|s)=\phi(s,a)-\mathbb{E}_{\pi_\theta}[\phi(s,\cdot)]$$

  • 高斯策略

    用于连续动作空间，定义了状态的特征向量 $\phi(s)$，方差可以是固定值也可以是参数化的，如固定为 $\sigma^2$，则动作满足所定义的高斯分布 $a\sim\mathcal{N}(\mu(s),\sigma)$，有：

    $$\nabla_\theta\log\pi_\theta(a|s)=\frac{(a-\mu(s))\phi(s)}{\sigma^2}$$

• Policy Gradients Theorem

  • One-Step MDPs

    回到最初定义如何评价策略 $\pi_\theta$ 的地方，将其从连续动作、连续状态空间替换为离散的，并加入约束条件：

    • $s\sim d(\cdot)$：初始状态即为稳态
    • 在一个 time-step 之后结束，奖励为：$r=R(s,a)$

    在这样的 One-Step MDPs 中，策略的目标函数为：

    $$J(\theta)=\mathbb{E}_{\pi_\theta}[r]=\sum_S d(s)\sum_A{\pi_\theta}(a|s)R(s,a)$$

    与之前求导方式类似，能够得到 One-Steps MDPs 目标函数的梯度：

    $$\nabla_\theta J(\theta)=\mathbb{E}[\nabla_\theta\log \pi_\theta(a|s)r]$$

  • Multi-Steps MDPs

    将 One-Step MDPs 中立即反馈的奖赏更改为长期的值函数 $Q^\pi(s,a)$

  • Policy Gradients Theorem

    对于任何可微分策略 $\pi_\theta (a,s)$，其任何目标函数 $J$

    • $J=J_1$

    • $J=J_{avR}$？？？
    • $J=\frac{1}{1-\gamma}J_{avV}$？？？

    对应的策略梯度为：

    $$\nabla_\theta J(\theta)=\mathbb{E}_{\pi_\theta}[\nabla_\theta\log \pi_\theta(a|s)Q^{\pi_\theta}(s,a)]$$

  Monte-Carlo Policy Gradient

  • $v_t$：对 $Q^{\pi_\theta}$ 的无偏采样

  算法

  def REINFORCE():
      theta.init_random()
      for all episodes {s[1],a[1],r[2],...,s[T-1],a[T-1],r[T]~pi}:
          for t in range(1,T):
              theta.update(alpha,pi,a[t],s[t],v[t])
      return theta

  根据如下公式对参数进行更新：

  $$\theta\leftarrow\theta+\alpha\nabla_\theta\log\pi_\theta(a_t|s_t)v_t$$

  存在问题

  • 不稳定，方差过大

  Actor-Critic Policy Gradient

  • 特点

    为了解决 MCPG 中方差过大的问题，引入 critic 对状态-动作对值函数进行近似估计

    $$Q_w(s,a)\approx Q_w^{\pi_\theta}(s,a)$$

  • 参数集合

    • critic 评估：更新状态-动作值函数参数 $w$
    • actor （所选的）效果提升：在 critic 建议的方向上更新策略参数 $\theta$

  基于状态-动作对 critic 的 actor-critic 算法

  • 主要思想：借助时序差分的思想，状态-动作对值函数为特征向量的线性组合（与 softmax policy 类似） $Q_w(s,a)=\phi(s,a)^\top w$

  • 算法：

    个人感觉比较像值函数估计中的异策略算法 Q-Learning，发现国内版本（ref：俞扬）和国外的版本不太一样，而且感觉国外版本的有点问题，所以这里参考俞扬老师的版本

    def QAC():
        theta.init()
        state.init()
        for all step: # 什么时候停止？？？
            action = pi_epsilon.sample(state)
            state_dot, reward = action.do()
            action_dot = pi.sample(state_dot)
            delta.update(w,reward,state_dot,action_dot,state,action)
            theta.update(w,state,action) # 此步更新的是 pi，不是 pi_epsilon
            w.update(alpha,delta,state,action)
            state = state_dot
            action = action_dot

    $\delta$、$\theta$ 和 $w$ 的更新函数分别如下：

    $$\delta=r+\gamma Q_w(s',a')-Q_w(s,a)$$
    $$\theta=\theta+\alpha \nabla_\theta\log\pi_\theta(s,a)Q_w(s,a)$$
    $$w=w+\alpha\delta\pi(s,a)$$

  Compatible Function Approximation

  Action-Critic 算法虽然能够解决 MCPG 方差过大的问题，但对策略的估计依然是有偏的，需要借助于准确的 policy gradient 选择合适的动作值函数来解决这一问题。

  • Compatible Function Approximation Theorem

    • 约束条件 1：值函数的近似与策略兼容（？？？梯度相等叫兼容）

      $$\nabla_wQ_w(s,a)=\nabla_\theta\log\pi_\theta(a|s)$$

    • 约束条件 2：借助于参数 $w$ 能够最小化近似值函数与策略对应真实的值函数之间的均方误差

      $$\epsilon=\mathbb{E}_{\pi_\theta}[(Q^{\pi_\theta}(s,a)-Q_w(s,a))^2]$$

    满足以上两个约束条件时，通过对 $\epsilon$ 求导在极值点可得 Action-Critic 的策略梯度为：

    $$\nabla_\theta\approx\mathbb{E}_{\pi_\theta}[\nabla_\theta\log\pi_\theta(a|s)Q_w(s,a)]$$

  Advantage Function Critic

  Action-Critic 中另一种解决方差过大的方法是引入 baseline function，该函数不改变原目标函数梯度，即：

  $$\mathbb{E}_{\pi_\theta}[\nabla_\theta\log\pi_\theta(s,a)B(s)]=\sum_{s\in S}d^{\pi_\theta(s)}\sum_a\nabla_\theta\pi_\theta(s,a)B(s)=\sum_{s\in S}d^{\pi_\theta(s)}B(s)\sum_a\nabla_\theta\pi_\theta(s,a)=0$$

  可以将状态值函数 $V^{\pi_\theta}(s)$ 作为 baseline function，则策略梯度改写为：

  $$\nabla_\theta J(\theta)=\mathbb{E}_{\pi_\theta}[\nabla_\theta\log \pi_\theta(a|s)(Q^{\pi_\theta}(s,a)-V^{\pi_\theta}(s))]$$

  其中 $A^{\pi_\theta}(s,a)=Q^{\pi_\theta}(s,a)-V^{\pi_\theta}(s)$ 称为 Advantage Function，此时如果希望能够得到准确的策略梯度，不仅需要对状态-动作对值函数 $Q^{\pi_\theta}(s,a)$ 进行指导，同时需要引入对状态值函数的指导参数 $v$，可以得到 Advantage Function 的近似估计：

  $$A(s,a)=Q_w(s,a)-V_v(s)$$

  类似于之前仅依赖于 $Q$ 的模型一样借助时序差分学习的思想对两个值函数进行更新，对应的误差为：

  $$\delta^{\pi_\theta}=r+\gamma V^{\pi_\theta}(s')-V^{\pi_\theta}(s)$$

  该误差的期望为：

  $$\mathbb{E}_{\pi_\theta}[\delta^{\pi_\theta}|s,a]=\mathbb{E}_{\pi_\theta}[r+\gamma V^{\pi_\theta}(s')]-V^{\pi_\theta}(s)=Q^{\pi_\theta}(s,a)-V^{\pi_\theta}(s)$$

  可以看出在时序差分学习中误差的期望即为 Advantage Function，所以也可以将策略梯度写为 $\nabla_\theta J(\theta)=\mathbb{E}_{\pi_\theta}[\nabla_\theta\log \pi_\theta(a|s)\delta^{\pi_\theta}]$，由于 $\delta^{\pi_\theta}$ 仅与状态值函数 $V^{\pi_\theta}$ 相关，所以实际上只要对通过 $v$ 进行指导即可。

  原文中认为可以直接将时序差分学习误差作为策略梯度

  不同时间范围内各种 Critic 方法的参数更新

  • Monte-Carlo 采样：利用对 $Q^{\pi_\theta}$ 的无偏采样 $v_t$

    $$\Delta\theta=\alpha(v_t-V_v(s_t))\nabla_\theta\log\pi_\theta(a_t|s_t)$$

    • TD(0)，即 One-Step MDPs：依赖时序差分的中下一时刻的状态 $s_{t+1}$

      $$\Delta\theta=\alpha(r+\gamma V_v(s_{t+1})-V_v(s_t))\nabla_\theta\log\pi_\theta(a_t|s_t)$$

    • 《Reinforcement Learning: An Introduction》中指出 forward-view 和 backward-view TD($\lambda$) 本质是相同的

      • forward-view TD($\lambda$)：Multi-Steps MDPs，$\lambda\in[0,1]$，$v_t^\lambda=(1-\lambda)\sum_{n=1}^\infty\lambda^{n-1}v_t^n$

        $$\Delta\theta=\alpha(v_t^\lambda-V_v(s_t))\nabla_\theta\log\pi_\theta(a_t|s_t)$$

      • backward-view TD($\lambda$)

        $$\Delta\theta=\alpha\delta e_t$$

        其中：

        • Eligibility traces：$e_{t+1}=\lambda e_t+\nabla_\theta\log\pi_\theta(a|s)$
        • $\delta=r+\gamma V_v(s_{t+1})-V_v(s_t)$

      与 forward-view 相比，backward-view 不需要用到完整的轨迹信息，所以感觉在序列生成任务上比较适用。

      Natural Policy Gradient

      Natural Policy Gradient 通过一个微小的固定量改变策略，找到最接近 vanilla gradient 的梯度方向（文中特指了梯度上升方向）。

      $$\tilde{\nabla}_\theta J(\theta)=G^{-1}(\theta)\nabla_\theta J(\theta)$$

      其中 $G(\theta)$ 为 Fisher 信息矩阵：

      $$G(\theta)=\mathbb{E}_{\pi_\theta}[\nabla_\theta\log\pi_\theta(a|s)\nabla_\theta\log\pi_\theta(a|s)^\top]$$

      基于 Compatible Function Approximation，可以设近似状态-动作值函数 $Q_w(s,a)$，有：

      $$\nabla_w Q_w(s,a)=\nabla_\theta\log\pi_\theta(a|s)$$

      策略梯度的目标函数可表示为：

      $$\nabla_\theta J(\theta)=\mathbb{E}_{\pi_\theta}[\nabla_\theta\log \pi_\theta(a|s)Q^{\pi_\theta}(s,a)]=\mathbb{E}[\nabla_\theta\log \pi_\theta(a|s)\nabla_\theta\log \pi_\theta(a|s)^\top w]=G(\theta)w$$

      对应的 Natural Policy Gradient 即为 $w$，这样参数更新就简化为了仅依赖于指导参数：

      $$\theta_{t+1}=\theta_t+\alpha_t w_t$$

      总结

      本文包含了各种 Policy Gradient 算法策略梯度更新的公式，整理如下：

      • REINFORCE：$\mathbb{E}_{\pi_\theta}[\nabla_\theta\log \pi_\theta(a|s)v_t$
      • Q Actor-Critic：$\mathbb{E}_{\pi_\theta}[\nabla_\theta\log \pi_\theta(a|s)Q_w(s,a)$
      • Advantage Actor-Critic：$\mathbb{E}_{\pi_\theta}[\nabla_\theta\log \pi_\theta(a|s)A_w(s,a)$
      • TD Actor-Critic：$\mathbb{E}_{\pi_\theta}[\nabla_\theta\log \pi_\theta(a|s)\delta$
      • TD($\lambda$) Actor-Critic：$\mathbb{E}_{\pi_\theta}[\nabla_\theta\log \pi_\theta(a|s)\delta e$
      • Natural Actor-Critic：$G^{-1}(\theta)\nabla_\theta J(\theta)$