9、复杂数据密度建模与相关算法解析

复杂数据密度建模与相关算法解析

1. 多元 t 分布优化

在处理数据密度建模时，多元 t 分布是一种重要的工具。为了优化多元 t 分布中的均值 $\mu$ 和协方差矩阵 $\Sigma$，我们对相关方程求导，令导数为零并整理，得到更新方程：
$\mu^{[t + 1]} = \frac{\sum_{i = 1}^{I} E[h_i]x_i}{\sum_{i = 1}^{I} E[h_i]}$
$\Sigma^{[t + 1]} = \frac{\sum_{i = 1}^{I} E h_i (x_i - \mu^{[t + 1]})^T}{\sum_{i = 1}^{I} E[h_i]}$

这些更新方程具有直观的形式。对于均值，我们计算数据的加权和。数据集中的离群值往往可以由无限混合中的正态分布更好地解释，这些正态分布具有较大的协方差。对于这些分布，$h$ 值较小（$h$ 与正态协方差成反比），因此 $E[h]$ 也较小，在求和中权重较低。$\Sigma$ 的更新也有类似的解释。

然而，自由度 $\nu$ 没有封闭形式的解。我们可以通过一维线搜索来最大化相关方程，或者使用其他优化技术。当我们将具有对角尺度矩阵 $\Sigma$ 的 t 分布拟合到人脸数据集时，均值 $\mu$ 和尺度矩阵 $\Sigma$ 在视觉上与正态模型相似，但模型并不相同。拟合的自由度 $\nu$ 为 6.6，这个较低的值表明该分布的尾部比正态模型长得多。

总的来说，多元 t 分布能更好地描述包含离群值的数据。它比正态分布多一个参数（自由度 $\nu$）