Gibbs Sampling\吉布斯采样（二）

最新推荐文章于 2024-12-22 18:28:12 发布

绝对不要看眼睛里的郁金香

最新推荐文章于 2024-12-22 18:28:12 发布

阅读量783

点赞数 3

本文介绍了马尔科夫链蒙特卡罗(MCMC)方法的基本原理及其应用。通过构造一个具有特定平稳分布的马尔科夫链来实现概率分布的采样，重点讨论了Metropolis算法及Metropolis-Hastings算法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

$Gibbs Sampling\吉布斯采样（二）$

$Gibbs Sampling\吉布斯采样（二）$

$Gibbs Sampling\吉布斯采样（二）$
3 Markov Chain Monte Carlo

对于给定的概率分布 p(x) ,我们希望能有便捷的方式生成它对应的样本。由于马氏链能收敛到平稳分布，于是一个很的漂亮想法是：如果我们能构造一个转移矩阵为 P 的马氏链，使得该马氏链的平稳分布恰好是 p(x) ,那么我们从任何一个初始状态 x0 出发沿着马氏链转移,得到一个转移序列 x0,x1,x2,⋯xn,xn+1⋯, ，如果马氏链在第 n 步已经收敛了，于是我们就得到了 π(x) 的样本 xn,xn+1⋯ 。

这个绝妙的想法在1953年被Metropolis想到了，为了研究粒子系统的平稳性质， Metropolis考虑了物理学中常见的波尔兹曼分布的采样问题，首次提出了基于马氏链的蒙特卡罗方法，即Metropolis算法，并在最早的计算机上编程实现。Metropolis算法是首个普适的采样方法，并启发了一系列 MCMC方法，所以人们把它视为随机模拟技术腾飞的起点。Metropolis的这篇论文被收录在《统计学中的重大突破》中，Metropolis算法也被遴选为二十世纪的十个最重要的算法之一。

我们接下来介绍的MCMC算法是 Metropolis 算法的一个改进变种，即常用的 Metropolis-Hastings算法。由上一节的例子和定理我们看到了，马氏链的收敛性质主要由转移矩阵 P 决定,所以基于马氏链做采样的关键问题是如何构造转移矩阵 P ,使得平稳分布恰好是我们要的分布 p(x) 。如何能做到这一点呢？我们主要使用如下的定理。