11、采样方法全解析：从基础算法到高级应用

采样方法全解析：从基础算法到高级应用

在概率模型的实际应用中，精确推断往往难以实现，因此需要采用近似方法。本文将深入探讨基于数值采样的近似推断方法，也就是蒙特卡罗技术。

1. 采样方法基础

在许多情况下，我们需要计算某个函数 (f(z)) 关于概率分布 (p(z)) 的期望 (E[f])。对于连续变量，期望的计算公式为 (E[f] = \int f(z)p(z) dz)；对于离散变量，则将积分替换为求和。由于这些期望往往过于复杂，难以通过解析技术精确计算，因此采样方法应运而生。

采样方法的基本思想是从分布 (p(z)) 中独立抽取一组样本 (z^{(l)})（(l = 1, \ldots, L)），然后用有限和来近似期望：
(\hat{f} = \frac{1}{L} \sum_{l=1}^{L} f(z^{(l)}))

只要样本 (z^{(l)}) 是从分布 (p(z)) 中抽取的，那么 (\hat{f}) 的均值就等于 (E[f])，其方差为：
(\text{var}[\hat{f}] = \frac{1}{L} E[(f - E[f])^2])

需要注意的是，样本可能并非独立的，这会导致有效样本大小远小于表观样本大小。此外，如果 (f(z)) 在 (p(z)) 较大的区域取值较小，反之亦然，那么期望可能会被小概率区域主导，需要较大的样本量才能达到足够的精度。

对于许多模型，联合分布 (p(z)) 可以通过图形模型方便地指定。在无观测变量的有向图中，可以使用祖先采样方法从联合分布中采样。联合分布由下式指定：
(p(z) = \prod_{i=1}^{M} p(z_i | \text{pa