马尔可夫决策过程（二）

 

马尔可夫决策过程（二）

最近学习了MDP，查看一些资料，本文翻译了维基百科http://en.wikipedia.org/wiki/Markov_decision_process。有许多地方翻译的不好，有翻译错的地方请多多谅解！欢迎给我留下意见，我会尽快更改！

问题

MDPs的核心问题是为决策者找到一个这样的策略：找到到函数 π ，此函数指定决策者处于状态 s 的时候将会选择的动作 π(s)。请注意，一旦一个马尔可夫决策过程以这种方式结合策略，这样可以为每个状态决定动作，由此产生的组合行为类似于马尔可夫链。

我们的目标是选择一个策略 π，它将最大限度地积累随机回报，通常预期折扣数目总和超会过一个假定的无限范围：

（当我们选择 a_t = π(s_t )）

其中 是折扣率，满足。它通常接近1。

由于马尔可夫特性，作为上面假设的，特定问题的最优政策的确可以只写成 s 的功能。