学习笔记 —— 详细版 马尔科夫模型及相关背景知识（随机过程、马尔科夫链、马尔科夫性质、马尔科夫过程）

1.背景知识：

1.1随机过程：就是一些统计模型，利用这些统计模型可以对自然界的一些事物进行预测和处理，比如天气预报，比如股票，比如市场分析，比如人工智能。它其实就是个过程，比如今天下雨，那么明天下不下雨呢？后天下不下雨呢？从今天下雨到明天不下雨再到后天下雨，这就是个过程。那么怎么预测N天后到底下不下雨呢？这其实是可以利用公式进行计算的，随机过程就是这样一个工具，把整个过程进行量化处理，用公式就可以推导出来N天后的天气状况，下雨的概率是多少，不下雨的概率是多少。

1.2 马尔可夫性质
马尔可夫性质是概率论中的一个概念：当一个随机过程在给定现在状态及所有过去状态的情况下，其未来状态的条件概率分布仅依赖于当前状态。

简而言之，随即过程中某状态的发生只取決它上一个时刻的状态，那么此随机过程即具有马尔可夫性质。数学上，如果X（t）,t>0为一个随机过程，则马尔可夫性质的定义如下：

Pr[X(t+h)=y|X(s)=x(s),s⩽t]=Pr[X(t+h)=y|X(t)=x(t)],∀h>0

一般来说，具备马尔可夫性质的随机过程是不具备记忆特质的。在这个系统中，现在的条件概率和过去及未来的状态都是独立且不相关的，具备马尔可夫性质的过程通常称为马尔可夫过程
 

1.3马尔科夫过程：

就是指过程中的每个状态的转移只依赖于之前的 n个状态，这个过程被称为 n阶马尔科夫模型，其中 n是影响转移状态的数目。最简单的马尔科夫过程就