贝叶斯推断--Gibbs Sampling

最新推荐文章于 2025-03-16 23:18:26 发布

Halfangle

最新推荐文章于 2025-03-16 23:18:26 发布

阅读量2.3w

点赞数 4

分类专栏：算法学习文章标签：统计建模贝叶斯模型

本文链接：https://blog.youkuaiyun.com/u010533386/article/details/51449812

版权

本文介绍了Gibbs Sampling作为MCMC抽样技术在贝叶斯推断中的作用，用于处理复杂模型的后验概率分布。通过从条件分布中抽取变量，Gibbs Sampling能模拟从后验分布抽样。文中详细阐述了算法流程，并以“变换点”模型为例展示了应用实例。最后，探讨了如何通过条件分布推导出隐含变量的后验概率分布。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

当我们用贝叶斯模型去建模复杂的问题时，就越来越需要有效的推断方法来求解这些模型了。一言以蔽之，贝叶斯推断的目的就是在一组随即变量上维护一组完全后验概率分布。维护和应用这个概率分布常包含积分步骤，在面对较为复杂的模型时，是无法有效计算的。基于MCMC的抽样技术是一种可能的方法来求解和推断这些模型。

MCMC抽样的基本思想是，通过均值遍历来估计任意期望分布。也就是说，只要我们能够得到一个后验的足够样本，就可以计算这个的任意统计量值。如下：

E | f (s) | p ≃ 1 N \sum i = 1 N f (s (i))

$E|f(s)|_p \simeq \frac{1}{N}\sum_{i=1}^{N}f(s^{(i)})$

其中 $P$ 就是我们讨论的后验概率分布， $f(s)$ 是要求的期望值，也就是目标统计量。 $f(s^{(i)})$ 是从后验分布中抽得的第 $i$ 个(模拟)样本。

那么如何从后验分布得到所需的样本呢？Gibbs sampling就是适合这种需求的一种MCMC技术。Gibbs sampling的基本思想是，在每一个变量之间进行不断切换来得到他们的条件分布，在得到其中某一个变量的条件分布的时候，需要保持其他变量的值固定在当前抽样值。举例来说，假定有三个随即变量 $X_1$ ， $X_2$ 和 $X_3$ ，首先对它们进行初始化赋值为 $x_1^{(0)}$ ， $x_2^{(0)}$ 和 $x_3^{(0)}$ (即由先验分布抽得的值，在LDA中就是由具有参数 $\lambda$ 的dirichilet分布抽样值)。那么条件分布的抽取过程就是，在第 $i$ 次迭代中，依次抽取