《强化学习Sutton》读书笔记（六）——n步Bootstrapping（n-step Bootstrapping）

此为《强化学习》第七章 n-step Bootstrapping 。

$n$步Bootstrapping是MC和TD(0)的综合。随着对参数$n$的调整，我们可以看到TD是如何过渡到MC的。而最佳的方法往往就是介于TD和MC之间。

$n$步TD估计

在上一章的TD(0)方法中，我们有

$$v(S_t) \leftarrow v(S_t)+α(G_t−v(S_t))$$

并且，我们使用了一步后的状态值函数来估计$G_t$，从而得到

$$v(S_t) \leftarrow v(S_t) + \alpha [ R_{t+1}+\gamma v(S_{t+1})−v(S_t) ]$$

那么如果我们考虑$n$步，那么显然$G_t$也可以使用以下等式进行估计：

$$\begin{align*} G_t &= R_{t+1} + \gamma v(S_{t+1}) \\ &= R_{t+1} + \gamma R_{t+2} + \gamma^2 v(S_{t+2}) \\ &= R_{t+1} + \gamma R_{t+2} + \cdots + \gamma^{n-1} R_{t+n} + \gamma^n v(S_{t+n}) \end{align*}$$

在书本中，上面每个$v$都会有一个下标，表示此处的值函数是哪一步迭代的值函数。 但实际上，我们只有一个表格用来存值函数，所以实践上应该很容易知道到底是哪一步迭代的，因此这里省略不写（可见下文伪代码即可知）。令上述表达式为$G_{t:t+n}$，则算法TD(n)为

v(St)←v(St)+α[Gt:t+n−v(St)]