7、强化学习中的TD学习、SARSA与Q学习方法解析

强化学习中的TD学习、SARSA与Q学习方法解析

1. 基于模型与无模型方法概述

在强化学习领域，存在基于模型（Model-based）和无模型（Model-free）两种不同的方法。基于模型的方法需要事先了解“模型”，以提出最优策略。为了理解这个“模型”，通常需要大量详尽的数据（假设学习是基于数据样本进行的），从而有效地对马尔可夫决策过程（MDP）进行建模。因此，这类方法一般不适用于在线学习场景，在在线学习中，智能体需要实时学习并推荐动作，或者处理小批量的数据输入。不过，也存在一些混合方法，在这些方法中，首先从现有的数据样本中学习“模型”，然后将离线训练好的“模型”应用于在线学习中，可能还会有一些增量改进或学习循环。

基于模型的方法并不局限于经典动态规划，在经典强化学习中也有一些非常流行的基于模型的方法，其中一种重要的方法是时间差分（Temporal Difference，TD）学习，由于其基于模型的特点，有时也被称为时间差分模型（TDM）。除了TD学习这种基于模型的方法，还有两种无模型的方法，即Q学习（Q-Learning）和SARSA。其中，Q学习是一种离线策略（Off-Policy）的无模型方法，而SARSA是一种在线策略（On-Policy）的无模型方法。

2. 时间差分（TD）学习

2.1 TD学习的优势

在讨论基于动态规划的方法时，我们发现这类方法需要对“模型”（MDP模型）有完整的了解才能工作，并且不能利用“经验”来弥补对“模型”先验知识的不足（或数据的缺乏）。另一种非强化学习方法——蒙特卡罗模拟（Monte Carlo Simulation）则处于另一个极端，它主要依赖经验，不能直接利用“知识”（或先验数据）来解决