Temporal Difference - 时序差分学习

这篇博客是前面一篇博客Model-Free Policy Evaluation 无模型策略评估的一个小节，因为TD本身也是一种无模型策略评估方法。原博文有对无模型策略评估方法的详细概述。

Temporal Difference(TD)

时序差分

“if one had to identify one idea as central and novel to reinforcement learning, it would undoubtedly be temporal-difference(TD) learning.” - Sutton and Barto 2017

• 如果要选出对强化学习来说是最核心且最新颖的思想，那好毫无疑问是时序差分学习。-Sutton and Barto 2017
• 它结合了蒙特·卡罗尔(策略评估)方法和动态规划方法
• 不依赖模型
• Boostraps和samples(采样)都进行
  Bootstrapping通常被用于近似未来回报的折扣总和；Sampling通常被用于近似所有状态上的期望。
• 在可重复进行和非有限horizon非重复情境下都可以使用(这说明它解决了动态规划和蒙特·卡罗尔方法的缺点，博主注)
• 在每一次$(s,a,r,s^{\prime })$四元组(即每一次状态变迁/每一次Observation)发生后都立即更新$V$的估计

Temporal Difference Learning for Estimating V

• 目标：在给定由于遵循策略$\pi$而产生的所有轮次的条件下估计$V^{\pi }(s)$
• MDP M在遵循策略$\pi$$G_t=r_t+\gamma t_{t+1}+{\gamma }^2{r}_{t+2}+{\gamma }^3{r}_{t+3}+...$
• $V^{\pi }(s)={\mathbb{E}}_{\pi }[G_t|s_t=s]$
• 重温Bellman operator (如果MDP模型已知)
  $$B^{\pi }V(s)=r(s,\pi (s))+\gamma \sum _{s^{\prime }\in S}p(s^{\prime }|s,\pi (s))V(s^{\prime })$$
• 递增every-visit MC算法，使用一次对回报的采样更新估计
  $$V^{\pi }(s)=V^{\pi }(s)+\alpha (G_{i,t}-V^{\pi }(s))$$
• 灵感：已经有一个$V^{\pi }$的估计器，使用下面的方法估计回报的期望
  $$V\pi (s)=V\pi (s)+\alpha ([r_t+\gamma V^{\pi }(s_{t+1})]-V^{\pi }(s))$$

Temporal Difference [TD(0)] Learning

时序差分学习

• 目标：在给定由于遵循策略$\pi$而产生的所有轮次的条件下估计$V^{\pi }(s)$ (同上)
  • $s_1,a_1,r_1,s_2,a_2,r_2,...$其中动作a在策略$\pi$下采样而来
• 最简单的采样TD学习：以趋近估计值的方式更新价值
  $$V^{\pi }(s_t)=V^{\pi }(s_t)+\alpha ([r_t+\gamma V^{\pi }(s_{t+1})]-V^{\pi }(s_t))$$
  TD target = $[r_t+\gamma V^{\pi }(s_{t+1})]$
  请注意，这里没有求和，我们是采样，所以上面的式子里只有一个下一个状态，而不是所有的未来状态。而且像动态规划那样，我们会使用先前的$V^{\pi }$估计。所以你可以把式子左边的$V^{\pi }(s_t)$写成$V_{k+1}^{\pi }(s_t)$，右边的$V^{\pi }(s_t)$写成$V_k^{\pi }(s_t)$。和动态规划的区别在于，动态规划相当于更新了整个价值函数，这里相当于仅更新了价值函数的一个项。
• TD error：
  $${\delta }_t=r_t+\gamma V^{\pi }(s_{t+1})-V^{\pi }(s_t)$$
  $V^{\pi }(s_t)\approx$下一个状态$s^{\prime }$上的期望
• 可以在一次状态变迁(s,a,r,s’)发生后立即更新价值估计
• 不要求必须是可重复情景

这毫无疑问是偏差估计。一般来说，当你做bootstrap的时候，它就会是有偏差估计，因为你依赖之前的估计器，而之前的估计器通常不准确，所以会带有一个偏向特定方向的bias。 而且它也可能会有很高的方差，所以它有可能既高方差也高偏差。跟蒙特·卡罗尔方法相比，通常会有较小的方差，因为bootstrapping帮助你在多样性(variability)上取了平均。它的优点在于：可以很快的更新，不需要等到当前轮次的结束并且可以使用大量的信息。

Temporal Difference [TD(0)] Learning Algorithm

Input: $\alpha$
Initialize $V^{\pi }=0,\forall s\in S$
Loop

• Sample tuple $(s_t,a_t,r_t,s_{t+1})$
• $V^{\pi }(s_t)=V^{\pi }(s_t)+\alpha ([r_t+\gamma V^{\pi }(s_{t+1}]-V^{\pi }(s_t))$
  TD target = $[r_t+\gamma V^{\pi }(s_{t+1})]$

$\alpha$可以是一个时间的函数，$a_t$是$\pi (s_t)$，因为遵循策略$\pi$。

例题

手写体是解题过程。
与蒙特·卡罗尔算法不同的是，我们不会再将回报反向传播到之前访问过的状态，而是采样一个四元组$(s,a,r,s^{\prime })$即一次变迁，更新$V(s)$的状态，之后不记录这次采样，也不会再改变$s$的价值$V(s)$。

结果是按照手写体以如下顺序生成的(初始化所有状态的价值为零)：

1. [0 0 0 0 0 0 0]
2. [0 0 0 0 0 0 0]
3. [0 0 0 0 0 0 0]
4. [1 0 0 0 0 0 0]

最后一次采样得到$(s_1,a_1,1,\#)$，按照TD[(0)]算法更新步骤算，$V(s_1)=1$，其余由于更新它们价值时回报都是0，所以$V(s)=0(exceptfor{s}_1)$。

TD Learning和Q-Learing高度相似。Q-Learning是在做对模型的控制，即求解最佳策略；TD-Learning基本上就是Q-Learning，但是你的策略是固定的。

实际中如果你取$\alpha =\frac{1}{N}$或者其他类似的形式，或者取一个很小的值，那么它将必定收敛，当你像上面的例题那样取$\alpha =1$，它绝对会震荡。$\alpha =1$其实意味着你直接忽视掉了先前的估计。

图形化描述

TD是蒙特·卡罗尔和动态规划的结合。因为，一方面它靠采样$s_{t+1}$来近似期望，而不是显式地求期望(蒙特·卡罗尔方法的思想)；另一方面它使用$V(s_{t+1})$通过bootstrap的方式更新价值估计(动态规划的思想)。