马尔可夫链

参考这篇文章 https://www.cnblogs.com/pinard/p/6632399.html

1: 马尔可夫链概述

假设序列状态是 … X_{t-1}, X_{t}, X_{t+1}, … , 那么我们在时刻X_{t+1}的状态的条件概率仅仅依赖于时刻X_{t}.

“”“既然某一时刻状态转移的概率只依赖于它的前一个状态，那么我们只要能求出系统中任意两个状态之间的转换概率，这个马尔科夫链的模型就定了。”""
概率转换矩阵的概念很容易理解。有兴趣可以参考一下 Wiki。

比价关心的是，概率转换矩阵和蒙特卡洛方法的样本采样之间有何关系。

2: 马尔可夫链概率转换矩阵的性质

“”“也就是说我们的马尔科夫链模型的状态转移矩阵收敛到的稳定概率分布与我们的初始状态概率分布无关。这是一个非常好的性质，也就是说，如果我们得到了这个稳定概率分布对应的马尔科夫链模型的状态转移矩阵，则我们可以用任意的概率分布样本开始，带入马尔科夫链模型的状态转移矩阵，这样经过一些序列的转换，最终就可以得到符合对应稳定概率分布的样本。”“”

马尔可夫链的收敛性质
如果一个非周期的马尔可夫链有状态转移矩阵 P，且它的任意两个状态是连通的； 那么 $\lim P_{i,j}^n$ 与 $i$ 无关。
我们有
1: