7、强化学习中的TD学习、SARSA与Q学习方法解析

强化学习中的TD学习、SARSA与Q学习方法解析

1. 基于模型与无模型方法概述

在强化学习领域，“基于模型”（Model-based）的方法需要预先对“模型”有深入理解，以此来提出最优策略。为了有效构建马尔可夫决策过程（MDP）的“模型”，需要有详尽的数据（假设学习是基于数据样本进行的）。由于这个特点，这类方法通常不适用于在线学习场景，即智能体实时学习并推荐动作，或者处理小批量数据的场景。不过，也存在一些混合方法，先从现有的数据样本中学习“模型”，然后将离线训练好的“模型”应用于在线学习中，可能还会结合一些增量改进或学习循环。

基于模型的方法并不局限于经典动态规划，在经典强化学习中也有一些很受欢迎的基于模型的方法，其中时间差分（Temporal Difference，TD）学习就是一种重要的基于模型的强化学习方法，有时也被称为时间差分模型（TDM）。

除了TD学习这种基于模型的方法，还有两种无模型的方法，即Q学习（Q-Learning）和SARSA。Q学习是一种“离策略”（Off-Policy）的无模型方法，而SARSA是一种“在策略”（On-Policy）的无模型方法。

2. 时间差分（TD）学习

2.1 TD学习的优势

在讨论基于动态规划的方法时，我们发现这类方法需要对“模型”（MDP模型）有完美的了解才能工作，并且无法利用“经验”来弥补对“模型”先验知识的不足（或数据的缺乏）。而另一种非强化学习方法——蒙特卡罗模拟（Monte Carlo Simulation）则处于另一个极端，它主要利用经验，不能直接使用“知识”（或先验数据）来解决MDP问题（尽管它会利用历史数据提取分布作为经验）。蒙特卡罗模拟试图理解