【机器学习系列】GMM第一讲：两个角度认识高斯混合模型

最新推荐文章于 2024-06-28 09:44:04 发布

原创最新推荐文章于 2024-06-28 09:44:04 发布 · 492 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #高斯混合模型 #概率论 #GMM

机器学习专栏收录该内容

44 篇文章

订阅专栏

作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱

文中含有大量公式，若需要获取含公式原稿Word文档，可关注公众号【AI机器学习与知识图谱】后回复：GMM第一讲，可添加微信号【17865190919】进学习交流群，加好友时备注来自优快云。原创不易，转载请告知并注明出处！

本文先从两个角度简单认识一下高斯混合模型。下一章将详细介绍高斯混合模型的Learning问题解法。

一、几何角度

高斯混合模型可以看成是多个高斯分布叠加而成，即多个高斯分布的加权值，用公式表示为：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dILeSjua-1615891662282)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image002.png)]
其中 $N(uk,Σk)N(u_k, \Sigma_k)$ 表示第k个高斯分布， $αk\alpha_k$ 表示第k个高斯分布在混合高斯模型中占得权重大小。看下图，每个彩色的线条代表一个一个高斯分布模型，多个彩色的高斯模型叠加组成了黑色的线，即混合高斯模型。我们可以清晰的将下图和上面高斯混合模型公示对应起来。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7TzfKyAn-1615891662297)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image008.png)]

上图展示的是一维高斯分布叠加而成的高斯混合模型，下图展现一个由两个二维高斯分布叠加组成的高斯混合模型：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zVTfftbt-1615891662304)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image010.png)]

二、混合模型角度

对于混合模型，需要在观测变量X的基础上引入隐变量Z，隐变量Z的含义表示混合高斯分布中的样本属于哪一个高斯分布的概率大小。如果我们假设Z是离散随机变量，若混合高斯分布中共由K个高斯分布组成，则有：

C/高斯分布	$c_1$	$c_2$	…	$c_k$
z	1	2	…	k
P(z)	$p_1$	$p_2$	…	$p_k$

表格中展现某个高斯混合模型由 $c_1,c_2,...,c_k$ 个高斯分布组成，而z隐变量含义是某个样本属于第i个高斯分布的概率是 $p_i$ ，而且有：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h7EW9Jcm-1615891662308)(file:///C:/Users/zl_sd/AppData/Local/Temp/msohtmlclip1/01/clip_image028.png)]

我们可以从样本生成角度再理解一下隐变量Z的含义：假设现在有一个k面不均匀的骰子，用这个骰子生成样本数据，这个骰子每个面代表一个高斯分布。由于骰子k面不均匀，所以每个面被掷中的概率分别为 $p_1,p_2,...,p_k$ ，这样通过多次投掷骰子就可以得到一批样本，而这批样本组成的便是上表提到的那个高斯混合模型。