强化学习（五） - 时序差分学习(Temporal-Difference Learning)及其实例----Sarsa算法, Q学习, 期望Sarsa算法

如果非要找出一种思想作为强化学习的核心和新意，那无疑是时序差分学习(Temporal-Difference Learning) 或者称为 时序差分迭代法,以下简称为TD。TD学习是蒙特卡洛思想和动态编程（DP）思想的结合。与蒙特卡洛方法一样，TD方法可以直接从原始经验中学习，而不需要环境的动态模型。和DP一样，TD方法部分地根据其他学习到的估计值更新估计值，而不需要等待最终的结果（它们是引导式的）。TD、DP和蒙特卡洛方法之间的关系是强化学习理论中一个反复出现的主题。

像往常一样，我们首先关注策略评估或预测问题，即估计给定策略$\pi$的价值函数$v_{\pi }$的问题。 对于控制问题（寻找最优策略），DP、TD和蒙特卡洛方法都使用了广义策略迭代（GPI）的一些变化。方法中的差异主要是它们在预测问题上的方法差异。

5.1 TD预测

TD和蒙特卡洛方法都是利用经验来解决预测问题。给定某个策略$\pi$之后的一些经验，两种方法都会对该经验中出现的非终端状态$S_t$更新其对$v_{\pi }$的估计$V$。粗略地讲，蒙特卡洛方法要等到访问后的回报率已知，然后将该回报率作为$V(S_t)$的目标。一个适用于非稳态环境的简单的每次访问蒙特卡洛方法是
$$V(S_t)\leftarrow V(S_t)+\alpha [G_t-V(S_t)]\text{\hspace{1em}(5.1)}$$

其中 $G_t$是时间$t$之后的实际返回，$\alpha$ 是一个恒定的步长参数。我们称这种方法为常数-$\alpha$ MC。蒙特卡洛方法必须等到事件结束才能确定对$V(S_t)$的增量（只有这样才能知道$G_t$），而TD方法只需要等到下一个时间步长。在时间$t+1$时，它们立即形成一个目标，并利用观察到的回报$R_{t+1}$和估计值$V(S_{t+1})$进行有用的更新。最简单的TD方法
$$V(S_t)\leftarrow V(S_t)+\alpha [R_{t+1}+\gamma V(S_{t+1})-V(S_t)]\text{\hspace{1em}(5.2)}$$

在过渡到$S_{t+1}$并收到$R_{t+1}$的回报时时立即进行更新。实际上，蒙特卡洛更新的目标是$G_t$，而TD更新的目标是$R_{t+1}+\gamma V(S_{t+1})$。这种TD方法被称为TD(0)，或单步TD。下面的方框以程序的形式完整地描述了TD(0)。

---

Tabular TD(0) for estimating $v_{\pi }$

因为TD(0)的更新部分基于现有的估计，所以我们说它是一个自举方法(bootstrapping method)，就像DP一样。

$$\begin{array}{rl}{v}_{\pi }(s)& \doteq {\mathbb{E}}_{\pi }[G_t|S_t=s]\end{array}\text{\hspace{1em}(5.3)}$$
$$\begin{array}{rl}{v}_{\pi }(s)& \doteq {\mathbb{E}}_{\pi }[G_t|S_t=s]\\ & ={\mathbb{E}}_{\pi }[R_{t+1}+\gamma G_{t+1}|S_t=s]\\ & ={\mathbb{E}}_{\pi }[R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s]\end{array}\text{\hspace{1em}(5.4)}$$

粗略地讲，蒙特卡洛方法使用对(5.3)的估计作为目标，而DP方法使用对(5.4)的估计作为目标。蒙特卡洛目标是一个估计值，因为(5.3)中的预期值是不知道的；用一个样本收益来代替实际预期收益。DP目标是一个估计值，不是因为预期值(期望值假设完全由一个环境模型提供)，而是因为$v_{\pi }(S_{t+1})$不知道，而使用当前的估计值$V(S_{t+1})$来代替。TD目标是一个估计值，原因有二：它对(5.4)中的预期值进行采样，并且它使用当前估计值$V$代替真实的$v_{\pi }$。因此，TD方法结合了蒙特卡洛的采样和DP的引导。正如我们将看到的那样，这可以使我们在获得蒙特卡洛和DP方法的优点方面有更好的结果。

上图为tabular TD(0)的备份图。备份图顶部的状态节点的值估计是根据从它到紧接着的状态的一个样本转换来更新的。我们把TD和蒙特卡洛更新称为样本更新，因为它们涉及到向前看一个样本的后续状态（或状态动作对），利用后续状态的值和沿途的回报来计算一个备份值，然后相应地更新原始状态（或状态动作对）的值。样本更新与DP方法的预期更新不同的是，它们是基于单个样本继任者，而不是基于所有可能的继任者的完整分布。

最后，请注意，TD(0)更新中括号内的量是一种误差，衡量$S_t$的估计值与较好的估计值$R_{t+1}+\gamma V(S_{t+1})$之间的不同。这个量称为TD误差，在整个强化学习中以各种形式产生。
$${\delta }_t\doteq R_{t+1}+\gamma V(S_{t+1})-V(S_t)\text{\hspace{1em}(5.5)}$$

请注意，每次的TD误差是当时所做估计的误差。因为TD误差取决于下一个状态和下一个奖励，所以它实际上要到一个时间步骤之后才能得到。也就是说，${\delta }_t$是$V(S_t)$中的误差，在时间$t+1$时可用。另外要注意的是，如果数组$V$在事件中不发生变化（因为在蒙特卡洛方法中不发生变化），那么蒙特卡洛误差可以写成TD误差之和。
$$\begin{array}{rl}{G}_t-V(S_t)& =R_{t+1}+\gamma G_{t+1}-V(St)+\gamma V(S_{t+1})-\gamma V(S_{t+1})\\ & ={\delta }_{}\\ & \\ & \\ & \\ & \end{array}$$