强化学习笔记-07 n-step Bootstrapping 多步TD时分学习

本文是博主对《Reinforcement Learning- An introduction》的阅读笔记，不涉及内容的翻译，主要为个人的理解和思考。

上一节介绍了TD算法，其采用了Bootstrapping方法，当前过去的预估以及即期收益来更新累积收益函数：

前文我们提到，通过Bootstrapping TD算法，相比于蒙特卡罗法，可以加快学习速度，但另一方面在更新累积收益函数时会存在可能偏差。而n-step TD算法就是两种算法的中间结合，其在经过n步的蒙特卡罗法采样后，再通过Bootstrapping来预估后续收益，其累积收益函数的更新可以表示为：