MCMC 马尔可夫链蒙特卡洛方法入门

最新推荐文章于 2024-09-16 01:15:00 发布

原创

最新推荐文章于 2024-09-16 01:15:00 发布 · 952 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#算法

本文介绍了MCMC方法在贝叶斯统计中的作用，通过马尔可夫链在无法直接计算后验分布时进行近似。讲解了先验分布、可能性分布和后验分布的概念，并阐述了蒙特卡洛模拟的基本原理，用于评估复杂问题的解决方案。MCMC结合蒙特卡洛模拟和马尔可夫链，生成样本以逼近后验分布的统计特性。

本篇文章是对下面这篇文章的改写
https://www.jiqizhixin.com/articles/2017-12-24-6

MCMC 通过在概率空间中随机采样以近似兴趣参数（parameter of interest）的后验分布。注意了，这里不是近似兴趣参数，是近似兴趣参数的后验分布。
兴趣参数，是我们感兴趣的一些数字参数。

分布是每个参数的可能取值，以及我们以多大可能可以观测到这个可能取值。这个是从 proportion 的角度来理解。

在贝叶斯统计中，分布也可以看作是我们对这个参数的信念。这个是从概率统计的另外一种起源来理解。

下面讲讲贝叶斯统计。
先验分布：表征我们对参数信念的分布，它在我们看到任何数据之前捕捉到我们的信念。比如 P(\theta), 这里 \theta 是参数。
可能性分布：伴随着观测值来解释观察数据的可能性。 P(D | \theta)
后验分布：在观测完数据之后，参数 \theta 的分布

贝叶斯定理，说的是，P(\theta | D) 与 P(D | \theta) P(\theta) 成正比。
为什么呢？通过一个条件概率公式就可以得到。但是这里是不是假设 P(D) is a constant 了呢？还希望懂的童鞋能告知一二。

MCMC 允许我们在无法直接计算后验概率解析式的情形下，评估后验分布的形状？（什么是评估后验分布的形状？），这里将先介绍蒙特卡洛模拟，接着介绍马尔可夫链。
“”“
蒙特卡洛模拟只是一种通过不断地生成随机数来评估固定参数的方法。通过生成随机数并对其做一些计算，蒙特卡洛模拟给出了一个参数的近似值（其中直接计算是不可能的或者计算量过大）。
“”“ 和
“”“
蒙特卡洛模拟不只用于估算复杂形状的面积。通过生成大量随机数字，它还可用于建模非常复杂的过程。实际上，蒙特卡洛模拟还可以预测天气，或者评估选举获胜的概率。
“”“

“”“马尔科夫链由存在概率相关性的事件的序列构成。每个事件源于一个结果集合，根据一个固定的概率集合，每个结果决定了下一个将出现的结果。”“”

“”“马尔科夫链的一个重要特