本文介绍了马尔科夫链的概念及其在蒙特卡罗方法中的应用，详细阐述了马尔科夫链的状态转移矩阵的性质，包括收敛到稳定概率分布的特性。通过例子展示了如何基于马尔科夫链进行采样，为MCMC方法提供了基础。最后，文章提及了马尔科夫链采样的局限性，并预告了后续将探讨的M-H采样和Gibbs采样。
MCMC(二)马尔科夫链
在MCMC(一)蒙特卡罗方法中，我们讲到了如何用蒙特卡罗方法来随机模拟求解一些复杂的连续积分或者离散求和的方法，但是这个方法需要得到对应的概率分布的样本集，而想得到这样的样本集很困难。因此我们需要本篇讲到的马尔科夫链来帮忙。
1. 马尔科夫链概述
马尔科夫链定义本身比较简单，它假设某一时刻状态转移的概率只依赖于它的前一个状态。举个形象的比喻，假如每天的天气是一个状态的话，那个今天是不是晴天只依赖于昨天的天气，而和前天的天气没有任何关系。当然这么说可能有些武断，但是这样做可以大大简化模型的复杂度，因此马尔科夫链在很多时间序列模型中得到广泛的应用，比如循环神经网络RNN，隐式马尔科夫模型HMM等，当然MCMC也需要它。
如果用精确的数学定义来描述，则假设我们的序列状
订阅专栏 解锁全文
扫一扫
321
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
