n-step Bootstrapping

n-步 TD 预测

考虑使用策略 $\pi$ 生成样本回合估计 $v_{\pi }$，蒙特卡洛法基于从该状态直到回合结束生成的完整的奖励序列来更新每个状态
而一步 TD 法，基于下一个奖励，从一步之后的状态的价值进行引导，作为剩余价值的代理
一种中间的方法是，基于中间数量的奖励：超过一个，但少于直到结束前的所有，来完成更新
例如，两步更新法，将会基于前两个奖励以及两个时间步之后的状态的估计值，来完成更新

使用 n-步更新的方法仍是 TD 法，因为它们仍然基于之前的估计值和稍后的估计值的变化来更新之前的估计值，只不过这个 “稍后” 不仅仅是一步之后，而是 n 步之后
这种将时序差分延伸到 n 步的就叫作 n-步 TD 法

考虑对状态 $S_t$ 的估计值的更新，其作为状态-奖励序列的结果：
$S_t,R_{t+1},S_{t+1},R_{t+2},\dots ,R_T,S_T$ （省略动作）
我们知道，蒙特卡洛法更新 $v_{\pi }(S_t)$ 基于完整的回报：
$$G_t\doteq R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots +{\gamma }^{T-t-1}{R}_T$$
将这个量叫作更新的目标
在蒙特卡洛法里，更新的目标是回报，而一步更新中，目标是第一次奖励加上下一个状态的估计值的折扣，我们叫作一步回报：
$$G_{t:t+1}\doteq R_{t+1}+\gamma V_t(S_{t+1})$$
其中 $V_t:\mathcal{S}\to \mathbb{R}$ 在这里是指 $v_{\pi }$ 在时间 $t$ 的估计值

$G_{t:t+1}$ 的下标表示它是时间 $t$ 的截断回报，使用直到时间 $t+1$ 的奖励，用折扣估计 $\gamma V_t(S_{t+1})$ 代替其他项：$\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots +{\gamma }^{T-t-1}{R}_T$ 的完全回报
因此，两步更新的目标是两步回报：
$$G_{t:t+2}\doteq R_{t+1}+\gamma R_{t+2}+{\gamma }^2{V}_{t+1}(S_{t+2})$$
这里 ${\gamma }^2{V}_{t+1}(S_{t+2})$ 纠正了项：${\gamma }^2{R}_{t+3}+{\gamma }^3{R}_{t+4}+\cdots +{\gamma }^{T-t-1}{R}_T$ 的缺失

类似地，任意 n-步更新的目标是 n-步回报：
$$G_{t:t+n}\doteq R_{t+1}+\gamma R_{t+2}+\cdots +{\gamma }^{n-1}{R}_{t+n}+{\gamma }^n{V}_{t+n-1}(S_{t+n})$$
对所有的 $n,t$，使：$n⩾1$ 和 $0⩽t<T-n$
所有 n-步回报可以被认为是对全回报的近似，在 n-步之后被截断并对剩余缺失的项用 $V_{t+n-1}(S_{t+n})$ 来纠正
如果 $t+n⩾T$（n-步回报超过了终止点），那么所有缺失的项被当作为零，因此 n-步回报和原始全回报等同：$(G_{t:t+n}\doteq G_t\text{if}t+n⩾T)$

注意，对于 $n>1$ 的 n-步回报，涉及到在从 $t$ 转移到 $t+1$ 还未知的，未来的奖励和状态
在直到得到 $R_{t+n}$ 和计算出 $V_{t+n-1}$ 之前，没有算法能够使用 n-步回报，而第一次能够计算这些是在时间点 $t+n$
因此，一个为了使用 n-步回报的自然状态-价值学习算法是：
$$V_{t+n}(S_t)\doteq V_{t+n-1}(S_t)+\alpha [G_{t:t+n}-V_{t+n-1}(S_t)],0⩽t<T$$
而所有其他状态的价值保持不变：对于所有 $s\ne S_t$，有 $V_{t+n}(s)=V_{t+n-1}(s)$
我们把这个算法叫做 n-步 TD
注意到，在每个回合的前 $n-1$ 步，根本不进行任何更改，为了弥补这一点，在回合结束时，终止后和开始下一个回合之前，会进行一个相等数量的额外更新

完整过程的伪代码：

n-步回报使用价值函数 $V_{t+n-1}$ 来纠正超出 $R_{t+n}$ 的缺失奖励
n-步回报的一个重要特性是，即使在最差的状态下，它们的期望保证是比 $V_{t+n-1}$ 更好的 $v_{\pi }$ 的估计
也就是说，对所有 $n⩾1$，预期 n-步回报的最差误差也保证小于或等于 $V_{t+n-1}$ 下的最差误差的 ${\gamma }^n$ 倍：
$$\underset{s}{\max }|{\mathbb{E}}_{\pi }[G_{t:t+n}|S_t=s]-v_{\pi }(s)|⩽{\gamma }^n\underset{s}{\max }|V_{t+n-1}(s)-v_{\pi }(s)|$$
这叫作 n-步回报的误差减少属性

n-步 Sarsa

我们将 n-步方法与 Sarsa 结合起来，产生 $\text{on-policy}$ TD 控制方法
主要思想是简单地切换动作状态（状态-动作对），接着使用 $\epsilon$-贪婪策略
根据估计的动作价值重新定义 n-步回报：
$$G_{t:t+n}\doteq R_{t+1}+\gamma R_{t+2}+\cdots +{\gamma }^{n-1}{R}_{t+n}+{\gamma }^n{Q}_{t+n-1}(S_{t+n},A_{t+n}),n⩾1,0⩽t<T-n$$
如果 $t+n⩾T$ 那么 $G_{t:t+n}\doteq G_t$
那么自然算法是：
$$Q_{t+n}(S_t,A_t)\doteq Q_{t+n-1}(S_t,A_t)+\alpha [G_{t:t+n}-Q_{t+n-1}(S_t,A_t)],0⩽t<T$$
而对于所有使 $s\ne S_t$ 或 $a\ne A_t$ 的 $s,a$ ，所有其他状态的价值保持不变：$Q_{t+n}(s,a)=Q_{t+n-1}(s,a)$
这就是我们叫作 n-步 Sarsa 的算法

伪代码如下：

预期的 Sarsa 的算法和 n-步 Sarsa 差不多，除了将 n-步回报重新定义为：
$$G_{t:t+n}\doteq R_{t+1}+\cdots +{\gamma }^{n-1}{R}_{t+n}+{\gamma }^n{\bar{V}}_{t+n-1}(S_{t+n}),t+n<T$$
对 $t+n⩾T$ 有：$G_{t:t+n}\doteq G_t$，而 ${\bar{V}}_t(s)$ 是状态 $s$ 的预期近似值，使用了目标策略下时间 $t$ 的估计动作价值：
$${\bar{V}}_t(s)\doteq \sum _a\pi (a|s)Q_t(s,a),\forall s\in \mathcal{S}$$

n-步 $\text{Off-policy}$ 学习

在 n-步方法中，回报是在 n 步之上构建的，所以我们只对这 n 个动作的相对概率感兴趣
例如，在构建 n-步 TD 的简单 $\text{off-policy}$ 版本时，时间 $t$ 的更新（实际上在第 $t+n$ 时进行）可以简单地用 ${\rho }_{t:t+n-1}$ 来加权：
$$V_{t+n}(S_t)\doteq V_{t+n-1}(S_t)+\alpha {\rho }_{t:t+n-1}[G_{t:t+n}-V_{t+n-1}(S_t)],0⩽t<T$$
这里的 ${\rho }_{t:t+n-1}$ 叫作重要性采样率，是在两个策略下从 $A_t$ 到 $A_{t+n-1}$ 采取 $n$ 个动作的相对概率：
$${\rho }_{t:h}\doteq \prod _{k=t}^{\min (h,T-1)}\frac{\pi (A_k|S_k)}{b(A_k|S_k)}$$

注意到，如果两个策略实际上是相同的（$\text{on-policy}$ 的情况），那么重要性采样率总是 1，因此我们的更新概括并且完全取代了先前的 n-步 TD 更新
同样，先前的 n-步 Sarsa 更新也可以被简单的 $\text{off-policy}$ 形式所取代：
$$Q_{t+n}(S_t,A_t)\doteq Q_{t+n-1}(S_t,A_t)+\alpha {\rho }_{t+1:t+n}[G_{t:t+n}-Q_{t+n-1}(S_t,A_t)],for0⩽t<T$$
这里的重要性采样率比 n-步 TD 里的晚一步开始和结束，因为这里我们在更新状态-动作对

伪代码如下：

具有控制变量的 $\text{per-decision}$ 方法

首先注意到，原始 n-步回报可以递归写就，对于在 h 结束的 n 步，n-步回报可以写成：
$$G_{t:h}=R_{t+1}+\gamma G_{t+1:h},t<h<T$$
其中 $G_{h:h}\doteq V_{h-1}(S_h)$
现在考虑遵循与目标策略 $\pi$ 不同的行为策略 $b$ 的效果，所有得到的经验，包括第一个奖励 $R_{t+1}$ 以及下一个状态 $S_{t+1}$，必须用时间 $t$ 的重要性采样率加权：${\rho }_t=\frac{\pi (A_t|S_t)}{b(A_t|S_t)}$

在这个复杂的方法中，可以使用在 $h$ 结束的 n-回报的 $\text{off-policy}$ 定义：
$$G_{t:h}\doteq {\rho }_t(R_{t+1}+\gamma G_{t+1:h})+(1-{\rho }_t)V_{h-1}(S_t),t<h<T$$
其中 $G_{h:h}\doteq V_{h-1}(S_h)$
上式中额外的项被叫作控制变量

控制变量不改变期望的更新，重要性采样率具有期望值 1 并且和估计不相关，因此控制变量的期望值是零
另外，上式的定义是先前 $\text{on-policy}$ 对 n-步回报定义的严格概括，因为两者在 $\text{on-policy}$ 情况下是一样的，此时 ${\rho }_t=1$

对于动作价值，n-步回报的 $\text{off-policy}$ 定义略有不同，因为第一个动作在重要性采样里不发挥作用

具有控制变量的 $\text{off-policy}$ 形式是：
$$\begin{gathered} G_{t:h}\doteq R_{t+1}+\gamma ({\rho }_{t+1}{G}_{t+1:h}+{\bar{V}}_{h-1}(S_{t+1})-{\rho }_{t+1}{Q}_{h-1}(S_{t+1},A_{t+1})) \\ =R_{t+1}+\gamma {\rho }_{t+1}(G_{t+1:h}-Q_{h-1}(S_{t+1},A_{t+1}))+\gamma {\bar{V}}_{h-1}(S_{t+1}),t<h⩽T \end{gathered}$$
如果 $h<T$，那么递归以 $G_{h:h}\doteq Q_{h-1}(S_h,A_h)$ 结尾，而如果 $h⩾T$，那么以 $G_{T-1:h}\doteq R_T$ 结尾

无重要性采样的 $\text{off-policy}$ 学习：n-步树备份算法

下图是3-步树备份备份图：

沿中央脊柱下去是标记出来的三个样本状态和奖励以及两个样本动作
这些代表了在初始状态-动作对 $S_t,A_t$ 之后发生的事件的随机变量
悬挂在每个状态两侧的是未选取的动作
因为我们没有对于未选取动作的样本数据，我们引导，并使用对它们价值的估计来形成更新的目标

我们将图表顶部节点的估计值朝着目标更新，其中包括了沿途的奖励（适当折扣）以及底部节点的估计值
在树形备份更新中，目标包括所有这些，再加上所有悬空的动作节点的估计值
这就是它被叫作树形备份更新的缘故；它是整棵估计动作价值树的更新

更准确地说，更新来自树的叶节点的估计动作价值
内部的动作节点，对应于实际采取的动作，并不参与其中
每个叶节点对目标的贡献与其在目标策略 $\pi$ 下发生的概率成比例
因此，每一个第一级动作 $a$ 贡献的权重为 $\pi (a|S_{t+1})$，除了实际采取的动作 $A_{t+1}$ 并不参与贡献，它的概率 $\pi (A_{t+1}|S_{t+1})$ 被用来加权所有第二级动作价值
因此，每一个未选择第二级动作的权值为：$\pi (A_{t+1}|S_{t+1})\pi (a^{\prime }|S_{t+2})$，以此类推

就好像每一个动作节点的箭头被动作在目标策略下选中的概率加权，并且如果该动作下有一棵树，则该权值适用于这棵树的所有叶节点

一步回报（目标）和预期 Sarsa 的一样：
$$G_{t:t+1}\doteq R_{t+1}+\gamma \sum _a\pi (a|S_{t+1})Q_t(S_{t+1},a),fort<T-1$$
而两步树备份回报是：
$$\begin{gathered} G_{t:t+2}\doteq R_{t+1}+\gamma \sum _{a\ne A_{t+1}}\pi (a|S_{t+1})Q_{t+1}(S_{t+1},a) \\ +\gamma \pi (A_{t+1}|S_{t+1})\left(R_{t+2}+\gamma \sum _a\pi (a|S_{t+2})Q_{t+1}(S_{t+2},a)\right) \\ =R_{t+1}+\gamma \sum _{a\ne A_{t+1}}\pi (a|S_{t+1})Q_{t+1}(S_{t+1},a)+\gamma \pi (A_{t+1}|S_{t+1})G_{t+1:t+2},fort<T-2 \end{gathered}$$
后一种形式表明了树备份 n-步回报的一般递归形式定义：
$$G_{t:t+n}\doteq R_{t+1}+\gamma \sum _{a\ne A_{t+1}}\pi (a|S_{t+1})Q_{t+n-1}(S_{t+1},a)+\gamma \pi (A_{t+1}|S_{t+1})G_{t+1:t+n},fort<T-1,n⩾2$$
当 $n=1$ 时，由前式给出除了 $G_{T-1:t+n}\doteq R_T$
这个目标被来自 n-步 Sarsa 的通常的动作-价值更新规则所使用：
$$Q_{t+n}(S_t,A_t)\doteq Q_{t+n-1}(S_t,A_t)+\alpha [G_{t:t+n}-Q_{t+n-1}(S_t,A_t)],for0⩽t<T$$
而对于所有使 $s\ne S_t$ 或 $a\ne A_t$ 的 $s,a$ ，所有其他状态-动作对的价值保持不变：$Q_{t+n}(s,a)=Q_{t+n-1}(s,a)$

伪代码如下：

统一算法：n-步 $Q(\sigma )$

我们考虑采样和期望之间的连续变化，令 ${\sigma }_t\in [0,1]$ 表示步骤 $t$ 的采样率，当 $\sigma =1$ 时，表示全采样，而 $\sigma =0$ 表示纯期望
随机变量 ${\sigma }_t$ 可以被用作状态，动作，或者状态-动作对的函数，我们把这个新算法叫作 n-步 $Q(\sigma )$

首先，根据结束点 $h=t+n$ 写出树备份 n-步回报，然后根据预期的近似值 $\bar{V}$：
$$\begin{gathered} G_{t:h}=R_{t+1}+\gamma \sum _{a\ne A_{t+1}}\pi (a|S_{t+1})Q_{h-1}(S_{t+1},a)+\gamma \pi (A_{t+1}|S_{t+1})G_{t+1:h} \\ =R_{t+1}+\gamma {\bar{V}}_{h-1}(S_{t+1})-\gamma \pi (A_{t+1}|S_{t+1})Q_{h-1}(S_{t+1},A_{t+1})+\gamma \pi (A_{t+1}|S_{t+1})G_{t+1:h} \\ =R_{t+1}+\gamma \pi (A_{t+1}|S_{t+1})(G_{t+1:h}-Q_{h-1}(S_{t+1},A_{t+1}))+\gamma {\bar{V}}_{h-1}(S_{t+1}) \end{gathered}$$
之后它与带控制变量的 Sarsa n-步回报相同，除了动作概率 $\pi (A_{t+1}|S_{t+1})$ 代替重要性采样率 ${\rho }_{t+1}$
对于 $Q(\sigma )$ ，我们在两种情况之间线性滑动：
$$G_{t:h}\doteq R_{t+1}+\gamma \left({\sigma }_{t+1}{\rho }_{t+1}+(1-{\sigma }_{t+1})\pi (A_{t+1}|S_{t+1})\right)\left(G_{t+1:h}-Q_{h-1}(S_{t+1},A_{t+1})\right)+\gamma {\bar{V}}_{h-1}(S_{t+1}),fort<h⩽T$$
递归结束于：$G_{h:h}\doteq Q_{h-1}(S_h,A_h)$ 如果 $h<T$ 或者结束于 $G_{T-1:T}\doteq R_T$ 如果 $h=T$

下面是完整的伪代码：

参考

《Reinforcement Learning An Introduction》(second edition)