人工智能必备数学知识· 学习笔记 ·002【马尓可夫链，马尓可夫链奖励过程，马尔可夫决策过程】

注：笔记 来自课程 人工智能必备数学知识
Tips①：只是记录从这个课程学到的东西，不是推广、没有安利
Tips②：本笔记主要目的是为了方便自己遗忘查阅，或过于冗长、或有所缺省、或杂乱无章，见谅
Tips③：本笔记使用markdown编写，相关缩进为了方便使用了LaTeX公式的\qquad，复制粘贴请注意

一、深度强化学习

$\text{深度强化学习}=\text{深度神经网络}+\text{强化学习}$

一个模型是深度学习模型，同时又使用强化学习的方法进行训练，使其应用在某个具体的领域，就是深度强化学习模型

马尓可夫链就是强化学习的底层数学原理

当我们考虑一个问题能否用强化学习的方式来解决时，我们就要思考这个问题能否定义为一个马尔可夫决策过程

二、马尓可夫链（Markov Chain）

1、马尓可夫链

马尓可夫链是状态空间中从一个状态到另一个状态转换的随机过程，下一个状态的概率分布只由当前状态决定，且与它前面的事件均无关：

$$P(S_{t+1}|S_t,S_{t-1},\cdots ,S_0)=P(S_{t+1}|S_t)$$

一种状态到另一种状态的转变，称为状态的转移
一种状态向另一种状态转移的概率，称为转移概率

$\text{示例1}：$
$假设有两种天气状态（晴天、下雨），第二天的天气状态只取决于前一天的天气状态：$
$第一天晴天，第二天：晴天（80\%），下雨（20\%）$
$第一天下雨，第二天：晴天（50\%），下雨（50\%）$

$可作出状态转换图如下：$
\qquad

2、状态转移矩阵

$从上面的示例中，我们可以看出：$

$一个马尓可夫链由一个二元组(S,P)组成$
$其中$
$S——状态的集合$
$P——状态转移矩阵（记录了从任意一个状态到另一个状态的转移概率）$

$设当前各状态概率构成一个概率向量V_0，经过t次状态转移后，各个状态概率构成概率向量V_t，则有$
$$V_t=V_0{P}^t$$

$\text{题例2}：$
$假设有三种天气状态（晴天、阴天、下雨），第二天的天气状态只取决于前一天的天气状态：$
$第一天晴天，第二天：晴天（70\%），阴天（20\%），下雨（10\%）$
$第一天阴天，第二天：晴天（40\%），阴天（40\%），下雨（20\%）$
$第一天下雨，第二天：晴天（20\%），阴天（40\%），下雨（40\%）$
$(1).今天是晴天、阴天、下雨的概率分别为(0.5,0.5,0)，计算明天各天气状态的概率$
$(2).今天是晴天，计算后天各天气状态的概率$

$\text{解：}$
$状态转移矩阵P=\left(\begin{array}{ccc}0.7& 0.2& 0.1\\ 0.4& 0.4& 0.2\\ 0.2& 0.4& 0.4\end{array}\right)$

$(1).V_0=\left(\begin{array}{ccc}0.5& 0.5& 0\end{array}\right)$
$V_1=V_{0}P=\left(\begin{array}{ccc}0.5& 0.5& 0\end{array}\right)\left(\begin{array}{ccc}0.7& 0.2& 0.1\\ 0.4& 0.4& 0.2\\ 0.2& 0.4& 0.4\end{array}\right)=\left(\begin{array}{ccc}0.55& 0.3& 0.15\end{array}\right)$

$(2).V_0=\left(\begin{array}{ccc}1& 0& 0\end{array}\right)$
$V_2=V_0{P}^2=\left(\begin{array}{ccc}1& 0& 0\end{array}\right){\left(\begin{array}{ccc}0.7& 0.2& 0.1\\ 0.4& 0.4& 0.2\\ 0.2& 0.4& 0.4\end{array}\right)}^2=\left(\begin{array}{ccc}0.59& 0.26& 0.15\end{array}\right)$

$从上面的题例中，我们可以看到，一个马尓可夫链可以预测多次状态转移的结果。$
$但是随着转移次数的增加，某些状态的概率可能会越来越小，因此我们需要加一些约束。$

3、收敛和平稳条件

$马尔可夫连收敛和平稳的前提条件如下：$
$①.状态有限$
$②.状态间转移概率固定$
$③.从任意状态可转移到任意状态$
$④.不能是简单的循环$
$例如：(x,y,z)三种状态，x能100\%转移到y，y又能100\%转移到x$

三、马尓可夫奖励过程

$\text{马尔可夫过程}描述的是状态间的转移关系$

$在各个状态的转移过程中赋予不同的奖励值，就得到了\text{马尔可夫奖励过程}$

$\text{马尔可夫奖励过程}可以用一个四元组(S,P,R,\gamma )表示$
$其中$
$S——状态集合$
$P——状态转移矩阵P(S_{t+1}|S_t)$
$R——奖励函数R(S)=E(R_{t+1}|S_t)$
$eg:在之前的天气示例中，不同的天气会给人不同的心情状态（奖励）$
$\{\begin{array}{ll}晴天& +2\\ 阴天& +0\\ 下雨& -1\end{array}$
$\gamma ——衰减因子\gamma \in [0,1]$
$理解：$
$举个例子：$
$“2天后得到100元”和“35天后得到100元”，我们往往会认为他们的价值是不同的$
$“2天后得到100元”的奖励值可能是{\gamma }^{2}R$
$而“35天后得到100元”的奖励值可能是{\gamma }^{35}R$
$往往越是未来的奖励，它们的价值就越低$
$\gamma 值设置越大，衰减越慢，表示一个人更在乎未来的奖励$
$\gamma 值设置越小，衰减越快，表示一个人更在乎眼前的奖励$

四、马尓可夫决策过程与强化学习

1、马尓可夫决策过程

$\text{马尔可夫决策过程}相比\text{马尔可夫奖励过程}多了一个动作A，它可以用一个五元组(S,A,P,R,\gamma )表示$
$\text{马尔可夫奖励过程}可以用一个四元组(S,P,R,\gamma )表示$
$其中$
$S——状态集合$
$A——动作集合（决策过程集合）$
$P——状态转移矩阵P(S_{t+1}|S_t,A_t)$
$R——奖励函数R(S)=E(R_{t+1}|S_t,A_t)$
$\gamma ——衰减因子\gamma \in [0,1]$

$\text{马尔可夫决策过程}是\text{强化学习}的基本过程$

2、强化学习

$一个强化学习的过程如下图所示，其实就是一个典型的马尓可夫链$

$强化学习的原理：$
$最大化期望回报\pi (A_t|S_t)，相应的结果就是找到从状态空间S映射到动作空间A的最优策略$

$\text{示例3}：$

  可以设置
     遇到-100
     遇到+100

  随着不断的训练，可以优化模型
  让模型找到最短的直接到达终点的路径
  （最短是因为有衰减因子γ存在）