增强学习（二）----- 马尔可夫决策过程MDP

最新推荐文章于 2024-10-11 19:27:15 发布

文宇肃然

最新推荐文章于 2024-10-11 19:27:15 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：人工智能AI实战系列代码全解析

本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/85761020

本文介绍了马尔可夫决策过程MDP的基础概念，包括马尔可夫性、状态转移概率、回报函数和值函数。MDP是具有马尔可夫性的动态决策问题，考虑了当前状态和动作对系统影响。值函数用于评估策略的长期效果，而Q函数则进一步细化了动作的影响。通过一个格子世界的例子，解释了值函数和Q函数的计算方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 马尔可夫模型的几类子模型

大家应该还记得马尔科夫链(Markov Chain)，了解机器学习的也都知道隐马尔可夫模型(Hidden Markov Model，HMM)。它们具有的一个共同性质就是马尔可夫性(无后效性)，也就是指系统的下个状态只与当前状态信息有关，而与更早之前的状态无关。

马尔可夫决策过程(Markov Decision Process, MDP)也具有马尔可夫性，与上面不同的是MDP考虑了动作，即系统下个状态不仅和当前的状态有关，也和当前采取的动作有关。还是举下棋的例子，当我们在某个局面（状态s）走了一步(动作a)，这时对手的选择（导致下个状态s’）我们是不能确定的，但是他的选择只和s和a有关，而不用考虑更早之前的状态和动作，即s’是根据s和a随机生成的。

我们用一个二维表格表示一下，各种马尔可夫子模型的关系就很清楚了：

	不考虑动作	考虑动作
状态完全可见	马尔科夫链(MC)	马尔可夫决策过程(MDP)
状态不完全可见	隐马尔可夫模型(HMM)	不完全可观察马尔可夫决策过程(POMDP)