机器学习模型自我代码复现：GMM

最新推荐文章于 2025-08-19 17:29:54 发布

原创

最新推荐文章于 2025-08-19 17:29:54 发布 · 532 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

#机器学习 #概率论 #python

本文介绍了GMM（高斯混合模型）的原理和实现，包括初始化、E步和M步的步骤，并通过实例展示了如何使用自制数据集进行训练和预测。结果显示了模型对复杂数据分布的有效拟合能力。

根据模型的数学原理进行简单的代码自我复现以及使用测试，仅作自我学习用。模型原理此处不作过多赘述，仅罗列自己将要使用到的部分公式。

如文中或代码有错误或是不足之处，还望能不吝指正。

本文的思路借鉴了GMM算法的实现_MagicGeek的博客-优快云博客_gmm算法实现

有时某些数据不是简单地服从单个正态分布，而是服从由多个正态分布线性组合的复合分布。此时我们便使用GMM模型分析其内部的正态分布模型，将数据分为多个服从正态分布的类。

$p(x)=\Sigma_{k=1}^K\pi_kN(x|\mu_k,\Sigma_k)$

其中， $\pi_k$ 为第k个正态分布的权重系数。

我们使用EM算法估算各个正态分布的期望 $\mu_k$ 方差矩阵 $\Sigma_k$ 。E步通过 $\mu_k$ 和 $\Sigma_k$ 估算后验概率 $\gamma_k(x)$ ，M步通过 $\gamma_k(x)$ 的最大化对数似然函数来倒推出新的 $\mu_k$ 与 $\Sigma_k$ 。

对数似然函数为：

$lnp(D|\pi,\mu,\Sigma)=\Sigma_{n=1}^Nln\{\Sigma_{k=1}^K \pi_kN(x_n|\mu_k,\Sigma_k)\}$

对其 $\mu_k$ 和 $\Sigma_k$ 分别求偏导，得

最低0.47元/天解锁文章

评论

成就一亿技术人!

拼手气红包6.0元

还能输入1000个字符

添加红包

插入表情

表情包

代码片

HTML/XML
objective-c
Ruby
PHP
C
C++
JavaScript
Python
Java
CSS
SQL
其它

条评论被折叠查看

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。