采样方法初步理解

背景

在统计学习中，经常要求期望：
比如$E[f(x)]$，x为连续型随机变量，如果已知$x$的分布$p(x)$，则：
$E[f(x)]=\int f(x)p(x)dx$
但是如果$f(x)p(x)$过于复杂，该积分可能无法直接计算。此时采样方法就可以排上用场了。

原理

采样近似计算基于以下思想:
$E[f(x)]=\frac{1}{n}{\sum }_{i=1}^{n}f(x_i)$, {xi}i=1n\{x_i\}_{i=1}^n{xi​}i=1n​ 来自于采样。这样积分被简化为求和。
但问题是{xi}i=1n\{x_i\}_{i=1}^n{xi​}i=1n​ 如何获取，并且使$x$符合已知的密度概率分布$p(x)$.
一般情况下，随机均匀分布样本{zi}i=1n\{z_i\}_{i=1}^n{zi​}i=1n​可以很容易获取， 我们假设存在可逆变换$T:x=T(z)$，使得使$x$符合已知的密度概率分布$p(x)$.

则$x$的累计概率分布：
$F(x)=P(T(z)\le x)=P(z\le T^{-1}(x))=F_u(T^{-1}(x))$
此时：
$F(x)$已知：因为$F(x)={\int }^{x}p(x^{\prime })d{x}^{\prime }$。
$F_u(z)$已知：通常为均匀分布：
$$F_u(z)=\{\begin{array}{rcl}1& & 1\le z\\ z& & 0\le z<1\\ 0& & z<0\end{array}$$
所以：
$F(x)=T^{-1}(x)$;
即所求的可逆变换$T(x)=F^{-1}(x)$。

当然这也要求累计概率分布函数$F(x)$可逆。