马尔可夫决策过程(MDP)

一、强化学习引入

• 强化学习的一个经典简化图：
  
• 在上图中Agent首先观察获取当前环境的状态$S_t$,然后根据$S_t$采取一个行动$A_t$与环境进行交互，在动作$A_t$作用下环境的状态由$S_t$转变为$S_{t+1}$,同时环境会给出立即给Agent一个回报$R_t$。如此循环下去，Agent与环境进行不断地交互从而产生很多数据。强化学习算法利用产生的数据修改Agent的动作策略，再与环境交互，产生新的数据，并利用新的数据进一步改善Agent的行为，经过数次迭代学习后，智能体能最终地学到完成相应任务的最优动作。
• 在强化学习中，马尔科夫决策过程（Markov decision process, MDP）是对完全可观测的环境进行描述的，也就是说观测到的状态内容完整地决定了决策的需要的特征。几乎所有的强化学习问题都可以转化为MDP。

二、马尔科夫决策过程

• 内容大纲:
  • 马尔科夫性
  • 马尔科夫过程
  • 马尔科夫决策过程

1、马尔科夫性

• 马尔科夫性：是指环境的下一个状态$s_{t+1}$仅与当前状态$s_t$有关，而与以前的状态无关,可用下面公式表达：$$P(s_{t+1}│s_t,\dots ,s_1)=P(s_{t+1}│s_t)$$
• 马尔科夫性描述的是环境的每个状态的性质
• 马尔科夫随机过程：数学中用来描述随机变量序列的学科叫随机过程。所谓随机过程就是指随机变量序列。若将满足马尔可夫性的环境状态$s_t$视为一个随机变量，那么随机变量序列（随机过程）：$[s_1,s_2\dots ,s_n]$被称为马尔科夫随机过程

2、马尔科夫过程

• 马尔科夫过程：又叫马尔科夫链(Markov Chain)，它是一个无记忆的随机过程，可以用一个二元组$[S,P]$表示，且满足：$S\in R^N$是有限状态集合，$P\in R^{n\times n}$是状态转移概率矩阵：
  
• 例子：学生马尔科夫链：
  
  • 上图是一个马尔科夫过程示例图，状态集合$S$={娱乐,课程1,课程2,课程3,考过,睡觉,论文},状态转移概率矩阵$P$的元素为图上边的权值。
  • 一个学生一天可能的状态序列有很多种可能，比如：课1->课2->课3->考过->睡觉。这种状态序列称为马尔科夫链。当给定状态转移概率矩阵，从某个状态出发存在多条马尔科夫链。
• 但是马尔科夫过程中不存在动作(action)和奖励(reward),所有马尔科夫过程不足以描述图1所示的强化学习过程。将动作(action)和奖励(reward)考虑到马尔科夫过程中去就得到了马尔科夫决策过程。

3、马尔科夫决策过程

• 马尔科夫决策过程由元组$(S,A,P,R,\gamma )$描述其中：

  • $S\in R^n$为有限的状态集
  • $A\in R^m$为有限的动作集
  • $P\in R^{n\times m\times n}$为状态转移概率矩阵
  • $R$为回报函数
  • $\gamma$为折扣因子，用来计算累积回报。

• 跟马尔科夫过程不同的是，马尔科夫决策过程的状态转移概率是包含动作的即:$$P_{s{s}^{\prime }}^a=P[S_{t+1}=s^{\prime }|S_t=s,A_t=a]$$表示在状态$s$下执行行为$a$下一个状态为$s^{\prime }$的概率，

• 例子：学生马尔科夫决策过程：

  
  其中黑色源点是起点，方块为终点。
  • 该图在上图的基础上加入了行为集合$A$={完、学习、退出、睡觉、发表}和立即奖励函数$R$

• 强化学习的目标是给定一个马尔科夫决策过程，寻找最优策略。所谓策略是指状态到动作的映射，策略常用符号$\pi$表示，它是指给定状态$s$时，动作集上的一个分布，即：$$\pi (a│s)=P(A_t|S_t=s)$$

• 累计回报$G_t$:是指从$t$时刻所能带来的所有打折后的奖励总和:$$G_t=R_{t+1}+\gamma R_t+\cdots =\sum _{k=1}^{\infty }{r}^k{R}_{t+k+1}$$

  • 当给定策略$\pi$时，假设从状态$s_1$出发，学生状态序列有很多的可能：$$s_1\to s_2\to s_3\to s_4\to s_5$$