强化学习笔记-06 Temporal-Difference TD时分学习

本文是博主对《Reinforcement Learning- An introduction》的阅读笔记，不涉及内容的翻译，主要为个人的理解和思考。

TD学习是现代强化学习方法的核心，其是蒙特卡罗法和动态规划法的结合，一方面，其同蒙特卡罗法一样，不需要对于环境完全了解，而是通过从环境交互中学习，另一方面，其类似于动态规划法，根据前一轮的估计中去更新新一轮的估计，而不需要像蒙特卡罗法通过最终的reward来估计更新。可以看出TD学习仍然是类似于generalized policy iteration (GPI) 过程，相比于蒙特卡罗法和动态规划法，其核心不同点在于价值函数的估计。

1. TD学习的预估

首先我们考虑上一节所讨论的蒙特卡罗法的价值估计函数，将其改下为如下迭代更新过程，即新一轮的估计通过前一轮的估计去更新。此时如果更新因子设置为固定时，称为固定步长的MC方法。