34、贝叶斯学习：变分贝叶斯GMM与高斯过程

贝叶斯学习：变分贝叶斯GMM与高斯过程

1. 变分贝叶斯高斯混合模型（Variational Bayesian GMMs）

变分贝叶斯高斯混合模型（GMM）使用类似期望最大化（EM）的算法来迭代更新所有超参数，以推导出GMM的最佳拟合变分分布。

1.1 算法步骤

算法输入为 $\alpha^{(0)}_m, \nu^{(0)}_m, \Phi^{(0)}_m, \lambda^{(0)}_m, \nu^{(0)}_m$（$m = 1, \cdots, M$），具体步骤如下：
1. 设置 $n = 0$。
2. 当未收敛时，执行以下操作：
- E步 ：使用公式 (14.23) 收集统计信息：
${\alpha^{(n)}_m, \nu^{(n)}_m, \Phi^{(n)}_m, \lambda^{(n)}_m, \nu^{(n)}_m} + x \to {r_m}$
- M步 ：使用公式 (14.21) 和 (14.22) 更新所有超参数：
${\alpha^{(n)}_m, \nu^{(n)}_m, \Phi^{(n)}_m, \lambda^{(n)}_m, \nu^{(n)}_m} + {r_m} + x \to {\alpha^{(n + 1)}_m, \nu^{(n + 1)}_m, \Phi^{(n + 1)}_m, \lambda^{(n + 1)}_m, \nu^{(n + 1)}_m}$
- $n = n + 1$。

1.2 $r_m$ 的更新公式

$r_m$ 的更新公式