26、聚类算法：理论与实践解析

聚类算法：理论与实践解析

1. 一维数据的 EM 算法

1.1 算法基础

在处理一维数据集时，我们常常会遇到数据是由多个一维高斯分布混合而成的情况。假设有一个一维数据集 $D = {x_1, \ldots, x_n}$，它是由 $k$ 个一维高斯分布混合生成的，每个高斯分布的参数为 $\theta_i = (\mu_i, \sigma_i)$，其中 $\mu_i$ 是均值，$\sigma_i$ 是协方差。第 $i$ 个高斯分布的概率密度函数为 $f_i(x) = \frac{1}{\sqrt{2\pi}\sigma_i} e^{-\frac{(x - \mu_i)^2}{2\sigma_i^2}}$。

每个高斯分布对应一个聚类 $C_i$，这些聚类的先验概率分别为 $a_1, \ldots, a_k$。通过贝叶斯定理，我们可以计算出聚类 $C_i$ 的后验概率：
$P(C_i|x_j) = \frac{f_i(x_j)a_i}{\sum_{\ell = 1}^{k} f_{\ell}(x_j)a_{\ell}}$

如果 $w_{ij} = P(C_i|x_j)$，那么 $w_i = \begin{pmatrix} w_{i1} \ \vdots \ w_{in} \end{pmatrix}$ 就是第 $i$ 个聚类在所有数据点上的权重向量。这就是期望最大化（EM）算法的期望阶段。

1.2 算法步骤

• 期望阶段 ：计算每个数据点属于每个聚类的后验概率。
• 最大化阶段 ：重新评估参数 $\mu_i$