蒙特卡洛积分和重要性采样(Importance Sampling)

一、蒙特卡洛积分

• 蒙特卡洛积分概述：简而言之蒙特卡洛积分就是，在求定积分时，如果找不到被积函数的原函数，无法使用经典牛顿-莱布尼茨积分法得到定积分结果的。而蒙特卡洛积分方法利用一个随机变量对被积函数进行采样，并将采样值进行一定的处理可以得到定积分的一个近似值，当采样数量很高时，得到的近似值可以很好的近似原积分的结果。这样一来，我们就不用去求原函数的形式，就能求得积分的近似结果。

• 补充一些基础性公式：

  • 假设一连续型随机变量$X$的样本空间为$D$，其概率密度分布函数为$p(x)$，则其数学期望为：$$E(X)={\int }_{D}xp(x)dx$$
  • 若另一连续随机变量$Y$满足$Y=f(X)$，则$Y$的数学期望为：$$E(Y)={\int }_{D}f(x)p(x)dx$$

• 蒙特卡洛积分方法基础形式

  • 现在 假设我们要计算一个定积分：$$A={\int }_a^{b}f(x)dx$$根据牛顿-莱布尼茨公式我们可以得到：$$A={\int }_a^{b}f(x)dx=F(b)-F(a)$$其中$F(x)$是$f(x)$的一个原函数。
  • 如果我们不知道或者无法求得原函数，我们该怎么计算这个定积分呢。那么就需要借助蒙特卡洛积分(Monte Carlo Integration)方法：
    • 首先我们可以在区间$[a,b]$上进行均匀采样得到：{ X1,…,XN}\{X_1,…,X_N\}{ X1​,…,XN​},样本对于的函数值为：{ f(X1),…,f(XN)}\{f(X_1),…,f(X_N)\}{ f(X1​),…,f(XN​)}
    • 然后再求和得到：$$F_N\approx \frac{b-a}{N}\sum _{i=1}^{N}f(X_i)$$
    • 用$F_N$作为A近似估值。
    • 这个和定积分的定义(黎曼积分)非常相似，只是在定积分的定义中{ X1,…,XN}\{X_1,…,X_N\}{ X1​,…,XN​}是不均匀采样得到而是对区间[a,b]均匀划分得到：{ x1=a,…,xN=b}\{x_1=a,…,x_N=b\}{ x1​=a,…,xN​=b}。根据定积分的定义如果划分的次数N趋于无穷大的时候$F_N=A$.如下图所示：
      

• 蒙特卡洛积分方法的正确性进行进一步分析：

  • { X1,…,XN}\{X_1,…,X_N\}{ X1​,…,XN​}是通过均匀分布采样得到的,则$X_i$也是随机变量并且服从均匀分布，即：$X_i$~$U(a,b)$

  • 而$F_N$是{ X1,…,XN}\{X_1,…,X_N\}{ X1​,…,XN​}的函数那么$F_N$是一个样本统计量也是一个随机变量。

  • 那么现在我们计算一下$F_N$的数学期望：$$E[F_N]=E[\frac{b-a}{N}$$