多元高斯分布的方差最大似然估计

原创

已于 2023-06-07 12:27:09 修改 · 1.1k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #概率论 #算法

于 2023-06-07 12:18:40 首次发布

文章介绍了如何使用最大似然估计法来估计多元高斯分布的均值向量μ和协方差矩阵Σ。首先，通过最大化样本数据的联合概率密度函数，求得均值μ的估计值为所有样本的均值。接着，通过同样的方法，计算出协方差矩阵Σ的估计值为所有样本与均值之差的outerproduct的平均。这些估计适用于独立同分布的样本数据。

多元高斯分布是指多维随机变量的联合概率密度函数服从高斯分布，通常用以下公式表示：

$p(\boldsymbol{x}) = \frac{1}{(2\pi)^{d/2}|\boldsymbol{\Sigma}|^{1/2}}\exp\left(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\right)$

其中， $x\boldsymbol{x}$ 是一个 $d$ 维的向量， $μ\boldsymbol{\mu}$ 是一个 $d$ 维的均值向量， $Σ\boldsymbol{\Sigma}$ 是一个 $\times d$ 的协方差矩阵。

我们的目标是要通过样本数据来估计参数 $μ\boldsymbol{\mu}$ 和 $Σ\boldsymbol{\Sigma}$ 的值。根据最大似然估计的原理，我们需要找到一组参数 $μML\boldsymbol{\mu}_{ML}$ 和 $ΣML\boldsymbol{\Sigma}_{ML}$ ，使得样本数据在这组参数下出现的概率最大。