56、抽样方法全解析：从基础到高级应用

抽样方法全解析：从基础到高级应用

1. 抽样概述

在无法获取精确结果的情况下，从分布中抽取样本是一种通用的方法。抽样主要是从分布 $p(x)$ 中抽取变量 $x$ 的实现（样本）$X = {x_1, \ldots, x_L}$。对于离散变量，当样本数量很大时，处于状态 $x$ 的样本比例趋近于 $p(x = x)$，即：
$$\lim_{L \to \infty} \frac{1}{L} \sum_{l = 1}^{L} I(x_l = x) = p(x = x)$$
对于连续变量，可以考虑一个区域 $R$，样本落在 $R$ 中的概率趋近于 $p(x)$ 在 $R$ 上的积分。利用有限的样本集，可以通过以下公式近似期望：
$$\langle f(x) \rangle_{p(x)} \approx \frac{1}{L} \sum_{l = 1}^{L} f(x_l) \equiv \hat{f}_X$$
这里 $\hat{f}_X$ 的下标强调了该近似依赖于所抽取的样本集。这种样本近似方法对离散和连续变量都适用。

抽样过程会产生样本集 $X$ 的实现，可将其视为生成一个分布 $\tilde{p}(X)$。只要抽样分布的边际与目标分布的边际相等，即 $\tilde{p}(x_l) = p(x_l)$，那么近似值 $\hat{f} X$ 关于样本集 $X$ 的抽取的平均值为：
$$\langle \hat{f}_X \rangle {\tilde{p}(X)} = \frac{1}{L} \sum_{l = 1}^{L} \langle f(x_l) \rangle_{\tilde{p}(x_l)} = \langle f(x) \