多变量高斯分布
先总结一些基本结论。
设有随机变量组成的向量X=[X1,⋯,Xn]TX=[X1,⋯,Xn]T,均值为μ∈Rnμ∈Rn,协方差矩阵ΣΣ为对称正定nn阶矩阵。在此基础上,如果还满足概率密度函数
关于协方差矩阵,在前面的PCA和白化里面有总结,一个随机向量的协方差矩阵就是这样一个矩阵:Σi,j=Cov(Xi,Xj)Σi,j=Cov(Xi,Xj)。实际上,随机向量的均值和协方差矩阵有下面关系:
上面说到,要求ΣΣ是一个对称的正定矩阵,实际上任何随机向量的协方差矩阵都是半正定的,只不过概率密度函数里面进一步要求Σ−1Σ−1的存在,所以ΣΣ必然是满秩矩阵,所以肯定是正定的。
若ΣΣ是对角形式的(比如随机向量是二维的,高维也类似)
如果 ΣΣ 不是对角的,则不能化简成两个单变量高斯分布的乘积。
直觉上来说,应该可以使用正交变换RR使得协方差矩阵 对角化(结合协方差矩阵的意义,这会使得随机向量XX每个元素互不相关)。
为此,试探性地作代换 ,则根据Σ=E[(X−μ)(X−μ)T]=E(XXT)−μμTΣ=E[(X−μ)(X−μ)T]=E(XXT)−μμT可得新的协方差矩阵
高斯混合模型和EM算法
关于高斯混合模型的背景,一篇博客觉得讲的比较明白(地址),这里就不抄写一些背景概念了,只总结最主要的部分。
样本集( 不是随机变量,是样本)为{ x(1),⋯,x(m)}{ x(1),⋯,x(m)},共mm个样本,每个样本是一个向量。为估计出概率密度函数