机器学习笔记——11 混合高斯模型(Mixtures of Gaussian)：利用EM算法估计参数

最新推荐文章于 2022-09-08 22:58:34 发布

_Volcano

最新推荐文章于 2022-09-08 22:58:34 发布

阅读量619

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习笔记文章标签：混合高斯模型 EM算法统计学机器学习数学

本文链接：https://blog.youkuaiyun.com/ZJC_BELIEF/article/details/96442648

本文详细介绍了混合高斯模型的概念，其中样本数据来自多个高斯分布，利用EM算法解决参数估计的难题。通过E步和M步的迭代更新，逐步优化模型参数，确保算法收敛。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机器学习笔记——11 混合高斯模型(Mixtures of Gaussian)：利用EM算法估计参数

本文主要介绍混合高斯模型，它涉及到对个分布来源，因此参数的估计将是一个难题。本文着重介绍如何利用EM算法对参数进行估计。

混合高斯模型(Mixtures of Gaussian)

在我们之前接触的大部分分布中，样本数据大部分独立同分布与某个分布。但是混合高斯模型中，样本数据并不是来自一个单一的高斯分布，而是来自多个高斯分布。我们假设共有 $k$ 个高斯分布，如果第i个样本 $x^{(i)}$ 来自第j个高斯分布，记 $z^{(i)} = j$ 。在高斯混合模型中， $N(u_j,\Sigma_j)$ 。而参数 $z$ 服从多项分布 $Multinomial(ϕ)Multinomial(\phi)$ 。即 $z$ 取 $j$ 的概率为 $ϕj\phi_j$ 。由此我们可以导出混合高斯的边缘分布为： $\sum_{j = 1}^{k}p(z = j)p(x|z = j) = \sum_{j = 1}^{k}\phi_jp(x|u_j,\Sigma_j)$ 因此样本的对数似然函数为： $ℓ(ϕ,u,Σ)=log⁡∏i=1mm(x(i))=∑i=1mlog⁡m(x(i))=∑i=1mlog⁡∑j=1kϕjp(x∣uj,Σj)\begin{aligned} \ell(\phi,u,\Sigma) = & \log \prod_{i = 1}^{m}m(x^{(i)}) \\ =& \sum_{i = 1}^{m}\log m(x^{(i)}) \\ =& \sum_{i = 1}^{m}\log \sum_{j = 1}^{k}\phi_jp(x|u_j,\Sigma_j) \\ \end{aligned}$