13、高斯混合模型的快速贝叶斯学习与图量化学习方法

高斯混合模型的快速贝叶斯学习与图量化学习方法

高斯混合模型的熵变分方案

变分自由能优化

在高斯混合模型的学习中，变分自由能的优化会产生一系列结果。通过优化，得到如下公式：
- (q(Z) = \prod_{n=1}^{N} \prod_{k=1}^{s} r_{kn}^{z_{nk}} \prod_{k=s+1}^{K} \rho_{kn}^{z_{nk}})
- (q(\mu) = \prod_{k=1}^{K} N(\mu_{k}|m_{k}, \Sigma_{k}))
- (q(\Sigma) = \prod_{k=1}^{K} W(\Sigma_{k}|\nu_{k}, V_{k}))
- (q(\beta) = \left(1 - \sum_{k=1}^{s} \pi_{k}\right)^{-K+s} \frac{\Gamma\left(\sum_{k=s+1}^{K} \tilde{\gamma} {k}\right)}{\prod {k=s+1}^{K} \Gamma(\tilde{\gamma} {k})} \cdot \prod {k=s+1}^{K} \left(\frac{\pi_{k}}{1 - \sum_{k=1}^{s} \pi_{k}}\right)^{\tilde{\gamma}_{k}-1})

其中，(N(.)) 和 (W(.)) 分别是高斯和 Wishart 密度，其余参数按相关方法确定。在对自由能关于 (q(.)) 进行最大化后，会更新 (\alpha) 中的系数，这个交织的过程会重复进行直到收敛。

变分贝叶斯中的模型阶数选择：EB