60、基于粒子的近似推理方法详解

基于粒子的近似推理方法详解

1. 基于粒子的近似推理概述

基于粒子的近似推理是一种独特的近似推理方法，它将联合分布近似表示为网络中部分或全部变量的一组实例化，这些实例化被称为粒子，旨在为整体概率分布提供良好的表示。

基于粒子的方法可以从两个维度进行大致刻画：
- 粒子生成过程 ：生成粒子的过程多种多样。极端情况下，既可以使用确定性过程生成粒子，也可以从某种分布中采样粒子，且每个类别中还有许多可能的变体。
- 粒子的概念 ：
- 全粒子 ：对网络中所有变量 X 进行完整赋值。但这种方法的缺点是每个粒子仅覆盖空间的极小部分。
- 塌缩粒子 ：仅对部分变量子集 W 进行赋值 w，并关联条件分布 P(X | w) 或其某种“摘要”。

一般来说，我们考虑某个分布 P(X)，想要估计相对于 P 的某个事件 Y = y 的概率，或者某个函数 f(X) 相对于 P 的期望。我们通过生成一组 M 个粒子，估计每个生成粒子的函数值或其期望，然后汇总结果来近似这个期望。

接下来，我们将重点介绍使用随机采样生成粒子的方法，包括从原始网络生成样本的最简单方法、从更接近后验分布的分布生成样本的改进方法、基于马尔可夫链的方法以及确定性生成粒子的方法，并将这些方法扩展到塌缩粒子的情况。需要注意的是，部分方法（如前向采样和似然加权）至少在简单形式下仅适用于贝叶斯网络，不适用于马尔可夫网络或链图。

2. 前向采样

前向采样是生成粒子的最简单方法，它从分布 P(X)