多元高斯分布

高斯分布也叫正太分布

一元高斯函数

独立多元高斯分布

假设n个变量$ x=[x_1,x_2,⋯,x_n]^T$ 互不相关，且服从正态分布（维度不相关多元正态分布），各个维度的均值$E(x)=[{\mu }_1,{\mu }_2,\cdots ,{\mu }_n{]}^T$， 方差 $\sigma (x)=[{\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_n{]}^T$

记：

维度不相关正太分布函数图像类似这样（以二元分布函数为例）：

相关多元高斯分布

以二元正态分布为例：

向输入平面作投影后的平面图：

以现在的坐标系来看，X1，X2是相关的，但是如果我们换一个角度，它们就是互不相关的了：

上述过程被称为去相关性，更专业一点叫做归化

经过一系列的推导，f(x)=

和独立多元高斯分布基本一样，不同的地方在于：

相关多元高斯分布的 ∑ 不再是只有对角存在特征与自身的协方差的形式，而是不同特征之间的协方差值：

需要注意的是，在一元高斯的情况下，我们可以用特征的均值与方差来描述这个单元的高斯分布，但是多元高斯则使用的是所有特征的均值向量与协方差均值来描述多元的高斯分布。

具体推导参考：https://www.cnblogs.com/bingjianing/p/9117330.html

混合高斯分布

混合高斯分布就是讲多个高斯分布通过线性组合的方式加在一起（理论上高斯混合模型是可以拟合任意类型的分布）

其具体表达式如下：

​ 其中${\alpha }_k$是系数，${\alpha }_k\ge 0$，且所有的α总和为1，k表示第k个模型
​ 其中$Φ(y|θ_k) $是高斯分布密度，$θ_k=(μ_k,σ_k^2)$，具体表达式如下