7、重要性抽样：原理、应用与优化

重要性抽样：原理、应用与优化

1. 蒙特卡罗方法的局限与重要性抽样的引入

在评估诸如似然比检验统计量在原假设下的分布及其在备择假设下的功效时，蒙特卡罗方法常被用于近似积分。虽然直接的蒙特卡罗方法在大多数常规情况下能对积分给出较好的近似，但它存在一定局限性。例如，对于某些情况，直接从目标分布 ( f ) 进行模拟效率较低，尤其是在处理尾概率模拟问题时，需要大量的模拟次数才能达到给定的精度。

重要性抽样方法应运而生，它依赖于所谓的重要性函数（即工具分布），而非原始分布。使用替代分布可以改善积分估计量的方差，从而提高计算效率。

2. 重要性抽样的基本原理

2.1 任意参考测度的改变

重要性抽样方法基于积分的另一种表示形式。对于任意密度函数 ( g )，当 ( h \times f ) 不为零时 ( g ) 严格为正，我们可以将积分 ( E_f[h(X)] ) 重写为：
[ E_f[h(X)] = \int_X h(x) \frac{f(x)}{g(x)} g(x) dx = E_g\left[\frac{h(X)f(X)}{g(X)}\right] ]
基于从 ( g ) 生成的样本 ( X_1, \ldots, X_n )，可以使用以下估计量来近似 ( E_f[h(X)] )：
[ \frac{1}{n} \sum_{j=1}^{n} \frac{f(X_j)}{g(X_j)} h(X_j) \to E_f[h(X)] ]
需要注意的是，( g ) 的支撑集必须包含 ( h \times f ) 的支撑集，否则会导致积分截断，产生有偏结果。

2.2 示例：尾概率的近似