强化学习（二）马尔科夫决策过程(MDP)

　　在强化学习（一）模型基础中，我们讲到了强化学习模型的8个基本要素。但是仅凭这些要素还是无法使用强化学习来帮助我们解决问题的, 在讲到模型训练前，模型的简化也很重要，这一篇主要就是讲如何利用马尔科夫决策过程(Markov Decision Process，以下简称MDP)来简化强化学习的建模。

　　　　MDP这一篇对应Sutton书的第三章和UCL强化学习课程的第二讲。

1. 强化学习引入MDP的原因

　　　　强化学习的8个要素我们在第一节已经讲了。其中的第七个是环境的状态转化模型，它可以表示为一个概率模型，即在状态ss下采取动作aa,转到下一个状态s′s′的概率，表示为Pass′Pss′a。

　　　　如果按照真实的环境转化过程看，转化到下一个状态s′s′的概率既与上一个状态ss有关，还与上上个状态，以及上上上个状态有关。这一会导致我们的环境转化模型非常复杂，复杂到难以建模。因此我们需要对强化学习的环境转化模型进行简化。简化的方法就是假设状态转化的马尔科夫性，也就是假设转化到下一个状态s′s′的概率仅与上一个状态ss有关，与之前的状态无关。用公式表示就是：

Pass′=E(St+1=s′|St=s,At=a)Pss′a=E(St+1=s′|St=s,At=a)

　　　　对于马尔科夫性本身，我之前讲过的