30、高斯混合模型的密度估计

高斯混合模型的密度估计

1. 密度估计简介

在机器学习中，我们常常需要以某种方式表示数据。一种直接的方法是将数据点本身作为数据的表示，但当数据集非常大或者我们对数据的特征表示感兴趣时，这种方法可能并不实用。在密度估计中，我们使用参数族中的密度函数（如高斯分布或 Beta 分布）来紧凑地表示数据。例如，我们可以通过寻找数据集的均值和方差，使用高斯分布来紧凑地表示数据。均值和方差可以通过最大似然估计或最大后验估计等方法来确定。

2. 高斯混合模型

2.1 高斯分布的局限性

在实际应用中，高斯分布（以及我们目前遇到的其他分布）的建模能力有限。例如，对于某些数据集，用高斯分布来近似其密度可能是一个糟糕的选择。

2.2 混合模型

混合模型可以通过 $K$ 个简单（基础）分布的凸组合来描述一个分布 $p(x)$：
[p(x) = \sum_{k=1}^{K} \pi_k p_k(x)]
其中，$0 \leq \pi_k \leq 1$，且 $\sum_{k=1}^{K} \pi_k = 1$。$p_k$ 是基本分布家族的成员，如高斯分布、伯努利分布或伽马分布，$\pi_k$ 是混合权重。混合模型比相应的基础分布更具表现力，因为它们允许进行多模态数据表示，即可以描述具有多个“簇”的数据集。

2.3 高斯混合模型（GMM）

高斯混合模型是一种密度模型，它将 $K$ 个高斯分布 $N(x | \mu_k, \Sigma_k)$ 组合在一起：
[p(x | \theta) = \sum_{k=1}^{K} \pi_k N(x | \mu_k, \Sigma