马尔可夫蒙特卡洛（MCMC）附python代码

马尔可夫蒙特卡洛（MCMC）

1.马尔可夫链(Markov Chain)

随机过程是一组随机变量$X_t$的集合，$t$为整数的时候，就是离散随机过程。马尔可夫过程是指一个满足马尔可夫性质的随机过程。马尔可夫性质是指:$$P(X_{t+1}|X_t,\cdots ,X_1)=P(X_{t+1}|X_t)$$

也就是说，当前随机变量的分布，只与上一个时间的随机变量取值有关系，与之前的取值都是独立的。

1.1 平稳分布

(定义)状态空间：状态空间是指这些随机变量所有取值的集合。例如，下雨和晴天的概率是0.1和0.9，则状态空间就是下雨和晴天。

**状态转移矩阵：**当状态空间大小K是有限的，则状态之间的转移概率可以用一个矩阵$M\in {\mathbb{R}}^{k\times k}$来表示。其中，$M_{ij}$表示从状态$i$转移到状态$j$的概率。例如，从下雨转移到晴天的概率是0.9，从晴天转移到下雨的概率是0.2，从下雨转移到下雨本身的概率是0.1，从晴天转移到晴天本身的概率是0.8。则可表示为一个$2\times 2$的矩阵，为：
$$M=\left[\begin{array}{cc}0.8& 0.2\\ 0.9& 0.1\end{array}\right]$$
于是，如果晴天和下雨本身的初始状态分布$\pi$是:
$$\pi ={\left[\begin{array}{c}0.9\\ 0.1\end{array}\right]}^T$$
则经过一次状态转移就是：
$${\pi }_{new}=\pi M$$
对于${\pi }_{new}$，可以继续进行状态转移。

转移矩阵显然需要满足：
$$\sum _j{M}_{ij}=1$$
也就是每一行是归一化的。因为由原来某种状态转向所有状态的概率之和肯定是1。

（定义）平稳分布: 对于状态转移矩阵为$M$的马尔可夫链，如果存在$\pi$，使得

$$\pi =M\pi$$，则称$\pi$是该马尔可夫链的平稳分布。也就是说，经过一次状态转移后，状态不再发生改变。

对于$M$满足一定条件的马尔可夫链来说，初始状态经过一定时间的状态转移之后，一定会收敛。
$$\pi =$$