Markov Chain马尔可夫链

Markov Chain马尔可夫链

一、简介

1.百度百科中给的定义是 ：马尔可夫链是一组具有马尔可夫性质的离散随机变量的集合。

数学表达如下：

对于概率空间的随机变量集合X,随机变量的取值在可数集$$s\in \mathbb{Z}$$内，
$$p(X_{t+1}|X_t,...,X_1)=p(X_{t+1}|X_t)$$
则X被称为马尔可夫链，X的取值集合s称为状态空间。

从公式可以看出，马尔可夫链当前状态只和前一个状态有关，和其他的历史状态无关

2.转移理论

马尔可夫链中随机变量的状态随时间步的变化被称为演变（evolution）或转移（transition）

二、代码实例

1. 示例1

import numpy as np