GMM高斯混合模型原理推导(一)

前言

GMM高斯混合模型是生成模型的有利代表之一，本文将作简单的原理推导和代码复现，主要是在代码复现，所以，推导将不会很严谨。
数学基础：【概率论与数理统计知识复习-哔哩哔哩】

原理推导

案例引入

所谓高斯混合模型，是英文“Guassian Mixture Model”的缩写，里面的Guassian代表的就是高斯分布。先来看一下什么是高斯混合模型，能解决什么问题？

假如，我们有下面的数据

在这种数据中，你是否会想过，这种数据是如何生成的？对于生成数据，我们很自然而言的一种方式就是假如我们知道了这些数据对应概率分布，那么理论上就可以从这个概率分布上面抽样出样本。

但是，我们有一个问题，这些数据，是否是独立同分布的呢？比如，在图中，看起来，如果仅仅用一个概率分布来表达这些数据好像不大妥当。他更像是两个不同的高斯分布。因此，我们是否可以认为这些数据是独立但并不同分布。

因此，我们可以假设，对于图中的两个概率分布，第一个概率分布均值和协方差$N({\mu }_1,{\sum }_1)$，第二个$N({\mu }_2,{\sum }_2)$

那么，对于这些数据的生成，我们认为是这样产生的。首先，存在一个概率$p_1,p_2$，他们对应的事件是（1，2）。首先以$p_1,p_2$作为概率进行抽取，如果抽中1，那么我们就从第一个高斯分布中随机生成数据；如果抽中2，那么我们就从第二个高斯分布中随机生成数据。得到第一个数据后，又重新开始抽取，不断生成数据。最终就得到了我们如图中所示的数据。

而这，这就是高斯混合模型的原理来源。

但是，我们现在的目标啊，并不是生成数据。而是如果给定了像图中的数据，如何计算出对应的参数$\mu ,\sum ,p$。

或者说，对于高斯混合模型，我们最经典的就是用于聚类。如何聚类？在图中，我们有两类数据，这些数据称为训练数据，如果来了一些新的数据，我们认为这些新的数据属于哪一类的可能性更大一些？是蓝色的一类？还是红色的一类？对于这类问题，我们可以通过训练数据训练出模型的参数。那么新来的数据就可以计算属于蓝色一类的概率，再计算属于红色一类的概率，只要比较哪一类的概率大就属于哪一类。

所以，问题就是，如何通过训练数据来求解出模型参数！

变量定义

对于这种给定数据求模型概率参数的问题，我们一般就是求出极大似然估计

在求解之前，先作以下定义
$$\begin{array}{c}\begin{array}{r}X=\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_n^T\end{array}\right)\end{array}\end{array}$$
大写的X代表全部的观测数据，小写的x带下标代表第几个数据。当然了这里并没有继续展开，实际上里面的$x_i$又可以分为几个分量，比如$x_1=(x_1^1{x}_1^2{)}^T$，代表$x_1$分为两个维度，如图上的那样。x是随机变量。并且每个数据之间是相互独立的。

有了观测数据，我们还有一个问题，实际上，我们能拿到的数据只有观测数据，然而这些数据并不完整，为什么呢？我们前面说到过，我们生成数据的时候是先通过概率$p_1,p_2$判定是属于事件1还是事件2，接着再选定对应的高斯分布进行抽样。那么理应我们的数据应当是
$$Z=\left(\begin{array}{c}{z}_1^T\\ z_2^T\\ ⋮\\ z_n^T\end{array}\right);(Z,X)=\left(\begin{array}{c}(z_1,x_1)\\ (z_2,x_2)\\ ⋮\\ (z_n,x_n)\end{array}\right)$$
其中，Z代表的是全部的隐藏数据，$z_i$代表第i次生成数据时所选定的事件。比如，$z_1=1$，此时的$x_1$就是从第一个高斯分布中抽样出来的数据。z代表随机变量

而$(Z,X)$代表的就是完全数据。

对于z，因为是离散的，我们给定分布表

z	C1	C2	$\cdots$	Ck
$p$	$p_1$	$p_1$	$\cdots$	$p_k$

对于随机变量z，为了提高泛化能力，我们假定观测数据可以分为k个高斯分布，那么z的取值就是k个，而不是之前说的只有两个。$p_1$对应的高斯分布的参数$N({\mu }_1,{\Sigma }_1)$，并且$\sum _{k=1}^K{p}_k=1$

为了方便表达，我们用$\theta$代表全部参数。即$\theta =(p_k,u_k,{\Sigma }_k)$

目标函数

那么之前我们提到过，我们的目标，实际上就是求极大似然估计。
$$\underset{\theta }{\max }P(X|\theta )$$
一般情况下，对于这种东西，我们的思路就是取log然后求导求解即可，但是我们知道，X并不是我们的完全数据，X的出现依托于Z，故我们引入Z。（声明：本文的log如无特殊表达，均以e为底数）
$$\begin{array}{c}\begin{array}{rl}logP(X|\theta )=& log\prod _{i=1}^{n}P(x_i|\theta )\\ =& \sum _{i=1}^{n}log\left[P(x_i|\theta )\right]\\ =& \sum _{i=1}^{n}log\left[\sum _{z_i}P(x_i|\theta )\right]\end{array}\end{array}$$
对于这个问题，是很难求解的，因为log里面是连加符号，log里面一大堆连加会导致求导及其困难。这个式子并没有解析解。只能够采取迭代求解的方式。而对于GMM模型，我们一般是采用EM算法求解。

所谓EM算法，在这里不过多介绍了（不理解的可以看上一篇EM算法原理推导），具体步骤如下

EM算法分为两步:

​ ①给定$P(Z|X,{\theta }^t)\to E_{P(Z|X,{\theta }^t)}\left[logP(Z,X|\theta )\right]$

​ ②${\theta }^{t+1}=\underset{\theta }{\max }{E}_{P(Z|X,{\theta }^t)}\left[logP(Z,X|\theta )\right]$

依据EM算法原理，只需要将新的${\theta }^{t+1}$作为新的${\theta }^t$，然后不断迭代①、②。最终可以收敛。

既然如此，那么就必须要计算出$E_{P(Z|X,{\theta }^t)}\left[logP(Z,X|\theta )\right]$。
$$\begin{array}{c}\begin{array}{rl}{E}_{P(Z|X,{\theta }^t)}\left[logP(Z,X|\theta )\right]=& \sum _{Z}log[P(Z,X|\theta )]P(Z|X,{\theta }^t)\\ =& \sum _{Z}log\left[\prod _{i=1}^{n}P(z_i,x_i|\theta )\right]\prod _{i=1}^{n}P(z_i|x_i,{\theta }^t)\end{array}\end{array}$$
对于这个式子，一般情况下我们都会想方设法地去掉连乘号，因为他一般是难以计算的，复杂度相对于连加号来说较大，并且连乘号容易导致数值溢出。因此我们需要消掉连乘号。
$$\begin{array}{c}\begin{array}{rl}& \sum _{Z}log\left[\prod _{i=1}^{n}P(z_i,x_i|\theta )\right]\prod _{i=1}^{n}P(z_i|x_i,{\theta }^t)\\ =& \sum _Z\sum _{i=1}^{n}logP(z_i,x_i|\theta )\prod _{i=1}^{n}P(z_i|x_i,{\theta }^t)\\ =& \sum _Z\left[logP(z_1,x_1|\theta )+logP(z_2,x_2|\theta )+\cdots +logP(z_n,x_n|\theta )\right]\prod _{i=1}^{n}P(z_i|x_i,{\theta }^t)\\ =& \sum _{Z}log[P(z_1,x_1|\theta )]\prod _{i=1}^{n}P(z_i|x_i,{\theta }^t)+\sum _{Z}logP[(z_2,x_2|\theta )]\prod _{i=1}^{n}P(z_i|x_i,{\theta }^t)+\cdots +\\ & \sum _{Z}log[P(z_n,x_n|\theta )]\prod _{i=1}^{n}P(z_i|x_i,{\theta }^t)\end{array}\end{array}$$
一项一项地看
$$\begin{array}{c}\begin{array}{rl}& \sum _{Z}logP(z_1,x_1|\theta )\prod _{i=1}^{n}P(z_i|x_i,{\theta }^t)\\ =& \sum _{z_1,z_2\cdots ,z_n}log[P(z_1,x_1|\theta )]P(z_1|x_1,{\theta }^t)\prod _{i=2}^{n}P(z_i|x_i,{\theta }^t)\\ =& \sum _{z_1}log[P(z_1,x_1|\theta )]P(z_1|x_1,{\theta }^t)\sum _{z_2\cdots z_n}\prod _{i=2}^{n}P(z_i|x_i,{\theta }^t)\end{array}\end{array}$$
注意看${\sum }_{z_2\cdots z_n}{\prod }_{i=2}^{n}P(z_i|x_i,{\theta }^t)$，外面连加号把里面所有的$z$都积分掉了，因此${\sum }_{z_2\cdots z_n}{\prod }_{i=2}^{n}P(z_i|x_i,{\theta }^t)=1$

所以
$$\begin{array}{c}\begin{array}{r}\sum _{Z}logP(z_1,x_1|\theta )\prod _{i=1}^{n}P(z_i|x_i,{\theta }^t)=\sum _{z_1}log[P(z_1,x_1|\theta )]P(z_1|x_1,{\theta }^t)\end{array}\end{array}$$
所以以此类推其余的项，把所有的项加起来得
$$\begin{array}{c}\begin{array}{rl}& \sum _{z_1}log[P(z_1,x_1|\theta )]P(z_1|x_1,{\theta }^t)+\sum _{z_2}log[P(z_2,x_2|\theta )]P(z_2|x_2,{\theta }^t)+\cdots +\sum _{z_n}log[P(z_n,x_n|\theta )]P(z_n|x_n,{\theta }^t)\\ & =\sum _{i=1}^n\sum _{z_i}log[P(z_i,x_i|\theta )]P(z_i|x_i,{\theta }^t)\\ & =\sum _{i=1}^n\sum _{k=1}^{K}log[P(z_i=Ck,x_i|\theta )]P(z_i=Ck|x_i,{\theta }^t)\\ & =\sum _{k=1}^K\sum _{i=1}^{n}log[P(z_i=Ck,x_i|\theta )]P(z_i=Ck|x_i,{\theta }^t)\end{array}\end{array}$$
所以
$$E_{P(Z|X,{\theta }^t)}\left[logP(Z,X|\theta )\right]=\sum _{k=1}^K\sum _{i=1}^{n}log[P(z_i=Ck,x_i|\theta )]P(z_i=Ck|x_i,{\theta }^t)$$
下一篇GMM高斯混合模型原理推导