22、概率分布估计与高斯模型参数估计

概率分布估计与高斯模型参数估计

在数据分析和机器学习中，我们常常需要对数据的概率分布进行估计，以便更好地理解数据和进行预测。本文将介绍如何估计隐藏变量的分布，以及如何使用最大似然估计（MLE）和最大后验估计（MAP）来估计高斯分布的参数，最后还会介绍高斯混合模型（GMM）。

隐藏变量分布的估计

在许多情况下，我们会遇到隐藏变量 $Z$，需要估计它的分布。一种方法是思考：“从哪个分布中随机抽样，能使这些训练数据点出现的概率最大？”这背后的理念是，我们假设训练数据点具有代表性，在未知的数据分布中出现的概率较高。因此，我们要找到一个分布，使训练数据点在该分布下的概率尽可能大。

从几何角度看，每个数据点（向量）可以看作是 $d$ 维空间中的一个点，训练数据点通常占据该空间的一个区域。我们实际上是在寻找一个分布，其质量大部分与训练数据区域对齐，即样本分布云与训练数据云大部分重叠。

用数学公式表示，我们要找到 $p(\vec{x}|\vec{z})$ 和 $p(\vec{z})$，使以下量最大化：
[p(X) = \int p(X, z) dz = \int \prod_{i=1}^{N} p(\vec{x}^{(i)},\vec{z}) d\vec{z} = \int \prod_{i=1}^{N} p(\vec{x}^{(i)}|\vec{z}) p(\vec{z}) d\vec{z}]
通常，我们从所选模型族的概率密度函数中得到 $p(\vec{x}^{(i)}|\vec{z})$，通过一些物理约束得到 $p(\vec{z})$。

高斯分布的最大似然参数估计

我们以一维的例子来研究高斯分布的最大似然参数