18、图像与模式聚类方法解析

图像与模式聚类方法解析

1. EBEM算法

1.1 最小描述长度准则

EBEM算法在进行模型阶数选择时，需要通过高斯性不足阈值进行调整。该阈值并非固定模型阶数，而是决定模型对数据的拟合程度。在同一阈值下，不同的数据可能会产生不同的模型阶数。若不想手动设置参数，可采用最小描述长度原则。

最小描述长度原则会从一组模型中选择能用最短消息表达的表示。对于大的 $n$，每个参数的最优码长渐近为 $\frac{1}{2} \log n$。模型阶数选择准则定义为：
[C_{MDL}(\Theta(k), k) = -L(\Theta(k), y) + \frac{N(k)}{2} \log n]
其中，第一项是对数似然，第二项用于惩罚过多的组件，$N(k)$ 是定义 $k$ 个核的混合所需的参数数量。

1.2 核分裂方程

当高斯性最低的核 $K^ $ 要分裂为 $K_1$ 和 $K_2$ 两个核时，需要设置它们的参数 $\Theta_{k1} = (\mu_{k1}, \Sigma_{k1})$ 和 $\Theta_{k2} = (\mu_{k2}, \Sigma_{k2})$。新的协方差矩阵有两个限制：必须是正定的，且总体离散度几乎保持不变：
[\begin{cases}
\pi^ = \pi_1 + \pi_2 \
\pi^ \mu^ = \pi_1\mu_1 + \pi_2\mu_2 \
\pi^ (\Sigma^ + \mu^ \mu^{ T}) = \pi_1(\Sigma_1 + \mu_