马尔可夫链及吉布斯抽样 入门详解(Markov Chain Monte Carlo and Gibbs Sampling)

最新推荐文章于 2025-08-27 23:58:47 发布
翻译 最新推荐文章于 2025-08-27 23:58:47 发布 · 1w 阅读 · 45
文章标签：

#Gibbs Sampling #MCMC #马尔可夫链 #吉布斯采样

本文回顾了MCMC方法的基本原理及其应用，重点介绍了MCMC如何解决复杂问题，并通过Gibbs Sampling这一具体算法来阐述其工作流程。

最近总结了下自己的笔记，发现原来自己还有这个东西，所以再次回顾了下，并简单做以下梳理，文章来自LDA-math-MCMC 和Gibbs Sampling





















总结：MCMC能解决什么问题？怎样解决这样的问题？


自然语言处理之话题建模：Markov Chain Monte Carlo (MCMC)：自然语言处理基础
zhubeibei168的博客
09-27 1172
话题建模是一种统计建模方法，用于发现文档集合或语料库中抽象的话题。它是一种无监督学习技术，能够自动识别文本中的主题结构，而无需事先定义这些主题。话题建模在自然语言处理中特别有用，因为它可以帮助我们理解大量文本数据的潜在结构。是一种广泛使用的话题模型。LDA假设文档由多个话题组成，每个话题由一组词的概率分布定义。对于每个话题，从一个Dirichlet先验分布中抽取词的概率分布。对于每个文档，从一个Dirichlet先验分布中抽取话题的混合比例。
马尔可夫链蒙特卡洛（Markov Chain Monte Carlo）
xu_aml的博客
05-01 2025
MCMC方法的许多应用是关于贝叶斯统计分析问题的，这些贝叶斯统计分析中常常需要计算后验分布的一些数字特征，如后验期望、后验方差、后验众数、后验分位数等。 蒙特卡洛抽样方法\textbf{蒙特卡洛抽样方法}蒙特卡洛抽样方法 设 p(x∣θ)p(\boldsymbol{x}|\theta)p(x∣θ)表示样本的概率函数（或称为参数θ\thetaθ 的似然函数), π(θ)\pi(\theta)π(θ)...
漫谈MCMC与Gibbs采样（三）—— 有趣的马尔科夫链
tianshi_wang的博客
07-01 1万+
马尔科夫链的转移与收敛
数学建模——马尔科夫链（Markov Chain Model）
最新发布
haoweixl的博客
08-27 4012
马尔科夫链是一种具有无后效性的随机过程模型，其未来状态仅取决于当前状态。该模型包含三个核心概念：状态空间（所有可能状态的集合）、无后效性（未来与过去无关）和转移概率矩阵（描述状态间转换概率）。通过分析转移概率矩阵和平稳分布，可预测系统长期行为。建模步骤包括：确定状态空间、收集数据估计转移概率、计算平稳分布。示例展示了如何利用30天天气数据构建3状态（晴、阴、雨）的转移矩阵，并验证了概率性质。该模型适用于人口迁移、用户行为等具有统计规律的离散状态预测问题。
MCMC 马尔可夫链蒙特卡洛方法 入门
bsn2020的博客
10-10 950
本篇文章是对下面这篇文章的改写 https://www.jiqizhixin.com/articles/2017-12-24-6 MCMC 通过在概率空间中随机采样以近似兴趣参数（parameter of interest）的后验分布。注意了，这里不是近似兴趣参数，是近似兴趣参数的后验分布。 兴趣参数，是我们感兴趣的一些数字参数。 分布是每个参数的可能取值，以及我们以多大可能可以观测到这个可能取值。这个是从 proportion 的角度来理解。 在贝叶斯统计中，分布也可以看作是我们对这个参数的信念。这个是从
MCMC(Markov Chain Monte Carlo) and Gibbs Sampling
Bluebelfast的专栏
12-04 2594
1.   随机模拟 随机模拟(或者统计模拟)方法有一个很酷的别名是蒙特卡罗方法(Monte Carlo Simulation)。这个方法的发展始于20世纪40年代，和原子弹制造的曼哈顿计划密切相关，当时的几个大牛，包括乌拉姆、冯.诺依曼、费米、费曼、Nicholas Metropolis， 在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的时候，开始使用统计模拟的方法,并在最早的计算机上进
【马尔科夫链-蒙特卡罗】马尔科夫链-蒙特卡罗方法对先验分布进行抽样
FPGA/MATLAB学习教程/源码/项目合作开发
06-12 1174
matlab2015b 这里，我们的主要算法是结合马尔科夫链-蒙特卡罗方法对先验分布进行抽样，从而确定后验分布的离散值，通过离散值对参数的统计值进行推断。其具体过程如下所示：根据所提供的参考文献可知，这里，根据已经得到的先验分布，通过MCMC算法进行抽样，知道完成所有的抽样，通过m次迭代抽样之后，最终确定后验分布。基本上程序就是按这个步骤进行设计的。 4.仿真结论 [1]朱新玲. 马尔科夫链蒙特卡罗方法研究综述[J]. 统计与决策, 2009(21):3.A16-51...
深入解析Markov Chain Monte Carlo与Gibbs Sampling算法
马尔可夫链蒙特卡洛（Markov Chain Monte Carlo，简称MCMC）是一种基于概率统计理论的数值计算方法，主要用于计算高维积分、求解复杂概率分布问题以及进行数据分析。而吉布斯抽样（Gibbs Sampling）是MCMC方法中的一...
MCMC(Markov Chain Monte Carlo) 方法学习笔记
u010490755的博客
11-06 1316
Gibbs采样 用途 什么是sampling? sampling就是以一定的概率分布，看发生什么事件。举一个例子。甲只能E：吃饭、学习、打球，时间T：上午、下午、晚上，天气W：晴朗、刮风、下雨。现在要一个sample，这个sample可以是：打球+下午+晴朗。 吉布斯采样的通俗解释？ 问题是我们不知道p(E,T,W)，或者说，不知道三件事的联合分布joint distribution。当然，如...
第19章 马尔可夫链蒙特卡罗法（MH算法、吉布斯抽样）
m0_56676945的博客
07-14 996
本章学习使用书籍：李航老师的《机器学习方法》配合观看视频：蒙特卡洛（Monte Carlo, MCMC）方法的原理和应用P1、P2和机器学习-白板推导系列(十三)-MCMC（Markov Chain Monte Carlo）其他博客链接：https://cosx.org/2013/01/lda-math-mcmc-and-gibbs-samplinghttps://www.cnblogs.com/pinard/p/6638955.htmlhttps://zhuanlan.zhihu.com/p/371215
马尔可夫链蒙特卡罗方法与吉布斯抽样详解
马尔可夫链蒙特卡罗（Markov Chain Monte Carlo，MCMC）方法为此提供了强大的工具。本文将详细介绍MCMC方法中的吉布斯抽样（Gibbs Sampling），并与单分量Metropolis - Hastings算法进行对比，同时探讨如何利用概率...
【史上最易懂】马尔科夫链-蒙特卡洛方法：基于马尔科夫链的采样方法，从概率分布中随机抽取样本，从而得到分布的近似
Debroon
12-20 5558
虽然你不能直接计算每个房间的人数，但通过马尔科夫链的蒙特卡洛方法，你可以从任意状态（房间）开始采样，并最终收敛到目标分布（人数分布）。然后，根据一个规则（假设转移概率是基于房间的人数，人数较多的房间具有较高的转移概率），你随机选择一个相邻的房间作为下一个状态。比如在巨大城堡，里面有很多房间，找到每个房间里的人数分布情况（每个房间被访问的次数），但是你不能一次进入所有的房间并计数。但是，当你重复这个过程很多次时，你会发现你更有可能停留在人数更多的房间，而在人数较少的房间停留的次数较少。
马尔可夫链蒙特卡罗法 (Markov Chain Monte Carlo, MCMC)
连理o的博客
10-22 8921
目录蒙特卡罗法 (Monte Carlo Method)随机抽样 (random sampling)数学期望估计 (estimation of mathematical expectation)定积分的近似计算 (Monte Carlo integration)马尔可夫链 (Markov Chain)基本定义离散状态马尔可夫链转移概率矩阵和状态分布 蒙特卡罗法是通过从概率模型的随机抽样进行近似数值计算的方法。马尔可夫链蒙特卡罗法则是以马尔可夫链为概率模型的蒙特卡罗法。马尔可夫链蒙特卡罗法构建一个马尔可夫链
什么是Markov chain Monte Carlo？
windowsLearner的专栏
01-28 1073
MCMC方法是一种重要的模拟计算方法，马尔可夫链蒙特卡尔理论(Markov chain Monte Carlo：MCMC)的研究对建立可实际应用的统计模型开辟了广阔的前景。90年代以来，很多应用问题都存在着分析对象比较复杂与正确识别模型结构的困难。现在根据MCMC理论，通过使用专用统计软件进行MCMC模拟，可解决许多复杂性问题。此外，得益于MCMC理论的运用，使得贝叶斯(Bayes)统计得到了再度
什么是吉布斯采样（Gibbs Sampling）
weixin_38502514的博客
01-19 1万+
目录吉布斯采样的前世今生马尔可夫链MCMC采样M-H采样吉布斯采样（Gibbs）吉布斯采样原理二维情况高维情况吉布斯采样过程参考资料 吉布斯采样的前世今生 简单的分布我们可以直接采样，比如正太分布，均匀分布。 不太好采样的分布，我们可以利用容易采样的分布，然后使用接受拒绝策略进行采样 ，祥见蒙特卡洛方法。 吉布斯采样是为了解决上述方法无法解决的情况： 不知道分布p(x,y)p(x,y)p(x,y)，只知道其条件分布p(x∣y),p(y∣x)p(x|y),p(y|x)p(x∣y),p(y∣x)，无法利用上
吉布斯采样
upupyon996deqing的博客
06-26 3200
回顾一下MC 采样：f(x)是已知 的概率分布函数，现在 找到一系列的x服从这个概率分布。也就是在f(x）当中抽取一些样本x。后来就提出了：F(x)是f(x)的累积概率分布，只需 在0到1上均匀采样得到i，然后将这个样本带到F(x)的反函数当中得到Xi.这个Xi服从F(x)的概率分布那一定服从f(x)的累积概率密度分布。现在面临的一个问题是：F(x)已经有了就能采出Xi，但是现在f(x)是已知的，对F(x)求积分不一定好求。后来冯诺依曼提出了另一个方法，假设一个q(x), 因为q(x)的积分比较好求，然后采
机器学习笔记之马尔可夫链蒙特卡洛方法(四)吉布斯采样
静静的学习就好
09-29 2506
上一节介绍了将马尔可夫链与蒙特卡洛方法相结合的算法——MH采样算法(Metropolis Hastings)，本节将介绍吉布斯采样算法(Gibbs Sampling)。
吉布斯抽样
kyang624823的博客
11-15 8562
吉布斯采样是生成马尔科夫链的一种方法，生成的马尔科夫链可以用来做蒙特卡洛仿真，从而求得一个较复杂的多元分布。 吉布斯采样的具体做法：假设有一个k维的随机向量，现想要构造一条有n个样本的k维向量（n样本马尔科夫序列），那么（随机）初始化一个k维向量，然后固定这个向量其中的k-1个元素，抽取剩下的那个元素（生成给定后验的随机数），这样循环k次，就把整个向量更新了一遍，也就是生成了一个新的样本，把
马尔可夫链(Markov chain)的基本认识
热门推荐
Fo*(Bi)的博客
08-13 1万+
马尔可夫链在统计学中的定义 马尔可夫链（Markov Chain），描述了一种状态序列，其每个状态值取决于前面有限个状态。 如何通俗理解马尔可夫链 马尔可夫链指的是在已知现在的条件下，过去的信息与未来是独立的，这个独立是条件独立性。 最简单的例子就是： 已知父母具有某项特长天赋的条件下，孩子也拥有的概率。与已知祖宗十八代和父母的信息的条件下，孩子拥有这项天赋的概率，是一样的。 若要用人生的例子来讲，已知你大学学习情况下和已知你在幼儿园小学初中高中大学的所有学习情况下，考研能不能考上的概率是一样的。 但是
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值