33、概率聚类与贝叶斯网络聚类方法解析

概率聚类与贝叶斯网络聚类方法解析

1. 概率聚类与 EM 算法变体

概率聚类是一种重要的数据聚类方法，它通过将每个数据点 $x$ 分配到提供最大后验概率的簇来进行分区。在概率聚类中，EM（期望最大化）算法是核心，同时还有一些 EM 算法的变体。
- 过松弛 EM 算法 ：试图通过更新参数估计来加速标准 EM 算法的收敛。更新方程为 $\theta^{t + 1} = \theta^{(t)} + \eta (\theta^{(t)} M - \theta^{(t)})$，其中 $\eta \geq 1$ 是步长参数，$\theta^{(t)}_M$ 是 M 步的常规更新输出。
- 蒙特卡罗 EM 算法 ：从 $p(Z|X, \theta^{(t)})$ 中抽取样本，计算 $(x_i, z_i)$ 的充分统计量后，对结果求平均，以此作为 E 步期望的近似。随机 EM 算法是蒙特卡罗 EM 算法的特殊情况，只抽取一个样本。
- 用于 MAP 估计的 EM 算法 ：是解决“方差崩溃问题”的简单方法。当将某个簇分配给单个数据点时，似然会趋于无穷大。在这种情况下，M 步中用 MAP 估计代替 MLE，即 $\hat{\theta} {MAP} = \arg\max_{\theta} \log p(\theta|X) = \arg\max_{\theta} (\log p(X|\theta) + \log p(\theta))$，其中 $p(\theta)$ 是 $\theta$ 的先验分布。

2. 有限混合模型用于聚类

有