马尔可夫链蒙特卡洛方法详解-优快云博客

本文链接：https://blog.youkuaiyun.com/bsn2020/article/details/109197650

本文介绍了如何利用马尔可夫链的平稳分布进行随机抽样，特别是针对贝叶斯后验概率分布的估计。讨论了马尔可夫链的性质，包括非周期性和可达性，并讲解了细致平稳条件在寻找概率转换矩阵中的作用。接着，文章提到了Metropolis-Hastings (M-H)采样方法，解释了接受概率矩阵的计算以及两种情况的处理。最后，重点介绍了Gibbs采样作为M-H采样的特殊情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最常见的是，用马尔可夫链的平稳分布，来随机抽样，估计贝叶斯后验概率分布，（因为贝叶斯后验概率解析式相关的量或许不太好计算）。
那么如何利用马尔可夫链的平稳分布，来随机抽样呢？
这个就需要用到马尔可夫链的一些相关性质。
马尔可夫链在满足一些性质的前提下，一直不停迭代下去的话，最终会达到一个平稳状态，这个平稳状态概率分布只跟概率转换矩阵有关。
那么如何从平稳状态概率分布，来推出概率转换矩阵呢？

我们先来看看马尔可夫链自己的性质。
摘自https://www.cnblogs.com/pinard/p/6632399.html
从上面描述可以看出，我们希望找到的马尔可夫链是非周期的，任意两个状态通过有限步可达，这些在实际应用中都是可以通过计算概率转换矩阵的 n 次幂来验证其是否收敛的。所以如何求概率转换矩阵P呢？只需求解一个概率转换矩阵P，使得 $πP=π\pi P =\pi$ 成立。
这里就需要用到马尔可夫链的细致平稳条件。
在这里插入图片描述
方法是从任意的概率转换矩阵 $Q$ 出发，找到一个接受概率矩阵 $α(i,j)\alpha(i,j)$ , 使得 $π(i)Q(i,j)α(i,j)=π(j)Q(j,i)α(j,i)\pi(i)Q(i,j)\alpha(i,j)= \pi(j)Q(j,i)\alpha(j,i)$ .
事实上，我们的平稳分布 $π\pi$ 所对应的概率转换矩阵 $P$ 满足，
$P(i,j)=Q(i,j)α(i,j)P(i,j)=Q(i,j)\alpha(i,j)$