28、隐变量模型中的EM算法及其扩展与变分贝叶斯方法

隐变量模型中的EM算法及其扩展与变分贝叶斯方法

1. 隐变量模型基础

在隐变量模型中，对于每个团（clique） $c$ 有单独的参数 $\theta_c$ ，联合概率分布 $p(v, h|\theta)$ 可以表示为：
[p(v, h|\theta) = \frac{1}{Z(\theta)}\prod_{c}\varphi_c(h, v|\theta_c)]
其中，$Z(\theta)$ 是归一化常数，定义为：
[Z(\theta) = \sum_{v,h}\prod_{c = 1}^{C}\varphi_c(h, v|\theta_c), \quad \theta = (\theta_1, \ldots, \theta_C)]
EM变分下界为：
[\log p(v|\theta) \geq H(q) + \sum_{c}\langle\log \varphi_c(h, v|\theta_c)\rangle_{q(h)} - \log Z(\theta)]
这里 $H(p)$ 是分布的熵函数，$H(p) \equiv -\langle\log p(x)\rangle_{p(x)}$。不过，由于 $Z(\theta)$ 中参数是耦合的，我们不能直接逐个参数地优化上述下界。一种方法是使用额外的上界 $\log Z(\theta)$ 来解耦 $Z$ 中的团参数。

2. EM算法的扩展

2.1 部分M步

在每次迭代中，并不需要找到能量项的全局最优值。只要找到一个参数 $\theta’$ ，其能量高于当前参数 $\theta$ ，那么第11.2.2节中所需的条件仍然成立，并且每次迭代时似然函数不会减小。