markov过程收敛性证明

markov 过程：

1 定义：

• 满足马尔可夫性质的随机过程。即转移概率仅仅与当前的状态有关。

2 特性

• 正如定义，马尔可夫过程不具备记忆性。与其他状态互相独立

3 有限状态的markov 过程收敛性证明

平稳过程的平稳性保证了未来可以通过过去来预知

3.1 收敛性证明：markov矩阵 特征值最大为1 。（主要性质据此可证收敛）

• 具体可见下图：摘自博客：http://blog.sina.com.cn/s/blog_80ce3a550102xas8.html