28、混合模型：高斯混合模型与隐马尔可夫模型详解

混合模型：高斯混合模型与隐马尔可夫模型详解

1. 高斯混合模型（GMM）概述

高斯混合模型（GMM）是机器学习中最常用的混合模型之一，它选择多元高斯模型作为组件模型。与第11章的单峰模型不同，GMM是强大的生成模型，常用于在高维空间中近似复杂的多峰分布。多个不同的多元高斯分布可以共同捕捉复杂概率分布中的多个峰值。

对于 $x \in R^d$，GMM 可以表示为：
- 多元高斯分布：$N(x | \mu_m, \Sigma_m) = \frac{1}{(2\pi)^{d/2} |\Sigma_m |^{1/2}} e^{-\frac{(x - \mu_m)^{\top}\Sigma_m^{-1}(x - \mu_m)}{2}}$
- GMM 概率密度：$p_{\theta}(x) = \sum_{m = 1}^{M} w_m \cdot N(x | \mu_m, \Sigma_m)$

其中，$\theta = {w_m, \mu_m, \Sigma_m | m = 1, 2, \cdots, M}$ 表示 GMM 中的所有参数；所有混合权重 $w_m$ 满足 $\sum_{m = 1}^{M} w_m = 1$；$\mu_m$ 和 $\Sigma_m$ 分别表示第 $m$ 个高斯分量的均值向量和协方差矩阵。计算每个 $x \in R^d$ 的 $p_{\theta}(x)$ 的计算复杂度大致估计为 $O(M \cdot d^2)$，此估计假设所有行列式 $|\Sigma_m|$ 和逆矩阵 $\Sigma_m^{-1}$ 都已预先计算并存储。

如果 $M$ 足够大，GMM 可以表示相当广泛的概率分布类。对于任何光滑的概率密度函数，都存在一个