重要性采样（Importance Sampling）

重要性采样（Importance Sampling）

摘自维基百科
	重要性采样是蒙特卡洛方法中的一个重要策略。该方法不改变统计量，只改变概率分布，可以用来降低方差。

在做蒙特卡罗模拟的时候，我们当然希望采集的样本服从样本集的均匀分布，比如在机器博弈中，每个点落子的事件组能够被搜索到，做仿真模拟的时候，探索策略可以铺满整个事件组（只考虑当前state，不考虑接下来的state时），但是当事件组的随机变量$z$非常复杂并且无法尝试探索到整个事件组时，这时我们可以考虑选用一个概率分布很简单的概率分布$p(z)$，如正态分布、均匀分布(E = 1)等，那么期望可变为
$$E(z)=\int f(z)\ast p(z)\mathrm{d}z$$$$=\int f(z)\ast (p(z)/q(z))\ast q(z)\mathrm{d}z$$$$\approx 1/N\sum _n(p(z^n)/q(z^n))\ast f(z^n),z^{n}q(z)$$
定义重要性权重$\omega =p(z^n)/q(z^n)$，这样普通的重要性采样求积分
$$E(z)=1/N\sum _n{\omega }^{n}f(z^n)$$
这里引入三个参数估计的评价量（1）无偏性√（2）一致性?（3）有效性√
从推到过程上可以看出，基于重要性采样的积分估计为无偏估计。但是，基于重要性采样的积分估计的方差无穷大。这是因为原来的被积函数乘了一个重要性权重，改变了被积函数的形状及分布，尽管被积函数的均值没有发生变化，但方差明显发生改变。一致性，又称相合性，是指随着样本容量的增大，估计量愈来愈接近总体参数的真值。
为了解决一致性差的问题（即方差无穷大），一种减小重要性采样积分方差的方法是采用加权重要性采样：
$$E(z)=\sum _{n=1}^N\frac{{\omega }^n}{{\sum }_{m=1}^N{\omega }^m}f(z^n)$$

拒绝采样（转）

当目标分布$\pi (x)$非常复杂或未知时，无法利用目标分布给出采样点，那么怎么办呢？一种方法是采用一个易于采样的提议分布$p(x)$，如高斯分布进行采样。可是，如果用提议分布$p(x)$采样，那么所产生的样本服从提议分布$p(x)$而不服从目标分布$\pi (x)$。所以，为了得到符合目标分布$\pi (x)$的样本，需要加工由提议分布$p(x)$得到的样本。接收符合目标分布的样本，拒绝不符合目标分布的样本。

MCMC（Markov Chain Monte Carlo）方法

MCMC方法全称为马尔科夫链蒙特卡罗方法，适用于采样空间的维数比较高时，刚看到这里，什么是空间维数比较高？看了后续的内容发现，比如在机器博弈中，$s_1$,$s_2$,$s_3$…,$s_n$这一个决策过程集合，采样的数据就是n维的。当然n维的采样方法用重要性采样和拒绝采样都不适用，MCMC方法不需要提议分布，只需要一个随机样本点，下一个样本会由当前的随机样本点产生，如此循环源源不断地产生很多样本点。当样本足够大时，这些样本点服从目标分布。{未完待续}