强化学习(四) - 无模型学习(MC、TDL)

最新推荐文章于 2025-04-02 15:02:28 发布

LearningXX

最新推荐文章于 2025-04-02 15:02:28 发布

阅读量726

点赞数

本文探讨了在模型未知情况下解决马尔科夫决策过程(MDP)问题的策略，对比了蒙特卡罗、时序差分学习与动态规划三种方法。蒙特卡罗与TDlearning适用于无模型场景，而动态规划则需已知模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上一节讲的是在已知模型的情况下，通过动态规划来解决马尔科夫决策过程(MDP)问题。具体的做法有两个：一个是策略迭代，一个是值迭代。

从这一节开始，我们将要进入模型未知的情况下，如何去解决MDP问题。
模型未知，即状态转移概率 $P^a_{ss′}$ $G_{t}$ ）

区别：
蒙特卡罗每次更新都需要等到agent到达终点之后再更新；
而对于TD learning来说，agent每走一步它都可以更新一次，不需要等到到达终点之后才进行更新

MC、TDL、DP 总结

Monte-Carlo, Temporal-Difference 和Dynamic Programming这三种学习方法都是用来计算状态价值的。
它们的区别在于：
前两种是在无模型下常用的方法，而MC方法又需要一个完整的episode来更新状态价值，TD则不需要完整的episode(单步更新)。
DP方法则是基于模型的计算状态价值的方法。它通过计算一个状态S所有可能的转移状态S’及其转移概率以及对应的即时奖励来计算这个状态S的价值。也正是因为它知道整个模型的情况(知道状态转移概率与即时奖励)，所以它才能够这样子计算全面的情况。

下图中的这颗树，代表了整个状态与动作空间。对于蒙特卡罗方法来说，要更新一次V值，需要有一个完整的样本(即图中红色部分就是一个样本)。这条路径经过了三个状态，所以可以更新三个状态的V值。
在这里插入图片描述
下图的红色部分是TDL每次更新所需要的。对于MC和TDL来说，它们都是无模型的，所以它们只能通过尝试来近似真实值。

这是动态规划的V值计算，由于知道了模型，所以可以直接计算期望V值。

参考：
强化学习(四)：蒙特卡罗学习(MonteCarlo)与时序差分学习(TD learning)

        </div>
					<link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-7f770a53f2.css" rel="stylesheet">
            </div>