大白话论《马尔科夫链蒙特卡洛采样》MCMC原理

1、 技术优势

与传统均匀采样不同，马尔科夫链蒙特卡洛采样通过调整建议采样分布函数，逼近于目标函数。从建议分布中采样，就相当于对目标函数的采样。

• 针对特殊的采样目标函数，不断采样、训练建议采样分布，始终具有很好采样效果
• 自探索、自发现的动态调整采样点，利用前期采样点的信息，采样过程具备收敛性
• 采样效率高，克服“接受-拒绝”采样方法对于特殊目标函数、采样点不易被接受、因而采样次数增大的缺点。

 上面是理想的“接受-拒绝”采样适用方法，选择某一建议分布，划分拒绝与接受。但一旦遇到以下这种情况，只有大量采样，导致执行效率特别低。也是MCMC采样能够很好克服的点，他可以很好的提高采样效率。

那么MCMC是如何提高效率的呢？如果每次采样都利用到前期的采样点反馈，会不会采样更快！

2、MCMC理论原理

如何利用前期采样点的信息。比如利用建议分布采样出的恰好出现在其目标分布中的高密度区域时，如果下一次抽样的Xn+1能够在附近抽取，其接受的成功率自然高。如下图所示。

但“接受-拒绝”采样方法每一次点的生成就是随机独立的、且建议函数不变，Xn的信息在下次抽样中丢失。有相当大的概率下次抽样会被拒绝。

因此，我们需要让这个建议分布动起来。保留上次有用信息，影响下次抽样。为此我们将马尔科夫链的思想加进去。流程如下

①根据初始的建议正态分布进行抽样，x0为初始设置的均值，是标准差，得到x‘