蒙特卡洛思想及MCMC

采样

高斯过程的模拟/采样/生成

Monte Carlo方法

核心思想：用多次随机求平均的方法来逼近一个值。实际是采样方法的核心。

投针实验可以用来计算圆周率，这里面的数学证明方法可能大家没有深究过。
 

投针问题的由来

 
1777年法国科学家布丰提出的一种计算圆周率的方法——随机投针法，即著名的蒲丰投针问题。 
这一方法的步骤是： 
　　1) 取一张白纸，在上面画上许多条间距为d的平行线。 
　　2) 取一根长度为l（l<d） 的针，随机地向画有平行直线的纸上掷n次，观察针与直线相交的次数，记为m 
　　3）计算针与直线相交的概率． 
布丰本人证明了，这个概率是：

p=2*l/(π*d)
π为圆周率。
 

投针实验的数学证明

 
投针这个动作是由两个事件构成的。

事件1：针投下后与平行线构成一定的夹角。

我们来分析一下针投下后与平行线之间的成某一特定夹角时的概率。

设针投下后与平行线之间的夹角为θ，则θ在0与π之间。针与平行线之间的夹角在θ到θ+Δθ之间的概率为p1=Δθ/π，当Δθ趋近于0时，p1可看作针投下后与平行线之间成某一特定夹角为θ的概率。

事件2：针投下后会在平行线垂直的方向形成一个投影，针与平行线相交等于它的垂直投影与平行线相交。这个投影的长度l’在0到l之间。

此时针在水平方向的投影为l’=l*sinθ。再分析l’与平行线相交的概率。等于我们将问题转化成长度为l’的针，并且只允许它处在与平行线垂直的方向上，这时它与平行线相交的概率显然为：

p2=l’/d=l*sinθ/d

因为每一次投掷都是由上述两个事件组成的，因而对于针与平行线之间的夹角在θ到θ+Δθ之间时，针与平行线相交的概率为这两个事件概率的乘积，即：

p(θ)=p1*p2

因为针与平行线之间构成的夹角在0－π之间每个角度的机会都是均等的，因此针与平行线相交的概率相当于针落在每个θ附近范围Δθ内，当Δθ趋近于0时与平行线相交的所有概率之和。这个概率可用下列定积分表示，并可求出这个定积分的值为：

可以用计算机模拟这个蒙特卡洛仿真，从而得到π。

Monte Carlo方法的每一个采样是独立的，而Markov Chain Monte Carlo的采样是前后关联的。

MCMC

蒙特卡洛-马尔科夫链(MCMC)初步

从随机过程到马尔科夫链蒙特卡洛方法

LDA-math-MCMC 和 Gibbs Sampling

也谈MCMC方法与Gibbs抽样

Deep learning：十八(关于随机采样)

蒙特卡洛-马尔科夫链(MCMC)的混合速度

机器学习方法(八)：随机采样方法整理（MCMC、Gibbs Sampling等）