机器学习-聚类(混合高斯算法)

转自：https://blog.youkuaiyun.com/lyn5284767/article/details/81358611

一，介绍

学习混合高斯，先要了解几个概念：

1，协方差:

协方差是对两个随机变量联合分布线性相关程度的一种度量。两个随机变量越线性相关，协方差越大，完全线性无关，协方差为零。 根据数学期望的性质：

推导协方差为：

 

2，协方差矩阵：

对多维随机变量X=[X1,X2,X3,...,Xn]，我们往往需要计算各维度两两之间的协方差，这样各协方差组成了一个n×n的矩阵，称为协方差矩阵：

 

百度百科给出的实例：          

         

3，服从高斯分布的概率密度函数：

可以看出高斯分布由均值向量μ和协方差矩阵∑这两个参数确定，故将概率密度函数记为：p(x|μ,∑)  可定义高斯混合分布为：

给定一组数据，假设该数据由多个高斯分布产生，现在我们要估计这些高斯分布的参数，以及每个样本属于每个高斯分布的概率，那么根据样本推测出元GMM的概率分布就可以了。具体求解借助EM算法可得。

二，公式推导

假设有K个样本，服从C个高斯分布，随机抽取一个样本X得到：

其中，为协方差矩阵，是聚类的中心（向量均值） 根据上式，可以写出关于样本值（第i个样本）的概率密度函数：

再根据贝叶斯定理：