采样方法

Why Sampling

一般来说，采样的目的是评估一个函数在某个分布上的期望值。采样的关键是如何按照指定的概率分布$p$进行样本采样。

$$E_{x\sim p}[f(x)], \textit{p is a distribution}$$

Sampling Method

• Importance Sampling
  采样的目的：其实就是想求得$E_{x\sim p}[f(x)]$，对于连续型概率分布，也就是：
  $$E[f(x)]=\int_{x}f(x)p(x)dx$$
  如果符合$p(x)$分布的样本不太好生成，我们可以引入另一个方便生成样本到的分布$q(x)$。
  $$\int_{x}f(x)p(x)dx=\int_{x}f(x)\frac{p(x)}{q(x)}q(x)dx=\int_{x}g(x)q(x)dx$$
  where $g(x)=f(x)\frac{p(x)}{q(x)}=f(x)w(x), w(x)—\textrm{importance weight}$
  所以我们将原问题转化为了求$g(x)$在$q(x)$分布下的期望。