机器学习 高斯判别分析的数学原理及Python简单可视化实现

一、生成学习算法

判别学习算法，为对整个样本集进行总体建模（即对P{y|x}建模，给定特征时输出某种结果的概率），训练得到参数后对给定的输入代入参数得到输出。
在分类问题中，有一类算法叫生成学习算法，会对不同的类别分别进行建模（即对P{x|y}建模，给定结果时显示某种特征的概率)，然后把输入分别用不同类别模型进行处理，看最符合哪个。
使用生成模型进行输出分类(以0-1分类为例）时，往往还会计算P{y}的分布，然后由贝叶斯公式$P(y=1|x)=\frac{P(x|y=1)P(y=1)}{P(x)}=\frac{P(x|y=1)P(y=1)}{{\sum }_{i=0}^{i=1}P(x|y=i)P(y=i)}=\frac{P(x|y=1)P(y=1)}{P(x|y=0)P(y=0)+P(x|y=1)P(y=1)}$
高斯判别分析就是一种生成学习算法，前提假设为：特征xi均连续，Y服从伯努利分布，P(x|y)服从正态分布(可能为高维）。在给出高斯判别分析之前，先给出高维正态概率分布。

二、协方差与高维正态分布

令X,Y为两个随机变量，它们的协方差Cov(X,Y)定义为$Cov(X,Y)=E[X-E(X)(Y-E(Y)]$，其中,E(X)为随机变量X的数学期望（数学期望的定义为$E(X)={\int }_{-\infty }^{+\infty }x{f}_X(x)dx$)。协方差用于衡量两个随机变量的线性关系水平，相关系数$\rho$定义为${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)\ast D(Y)}}$（D(X)为随机变量X的二阶中心矩，即E{|X-E(X)|²}）。${\rho }_{XY}$取值范围为[-1,1]闭区间，值为1时X,Y线性正相关（Y=aX,a>0)，为-1时X,Y线性负相关(Y=aX,a<0)，为0时没有任何线性关系。
给出协方差和相关系数的定义后，对于n个随机变量X1,X2…Xn,就可以得到协方差矩阵的定义$\hat{C}=$ $\left[\begin{array}{ccc}{C}_{X1X1}& C_{X1X2}& ...C_{X1Xn}\\ C_{X2X1}& C_{X2X2}& ...C_{X2Xn}\\ ...& & \\ C_{XnX1}& C_{XnX2}& ...C_{XnXn}\end{array}\right]$，由相关系数$\rho$的定义可以把协方差矩阵$\hat{C}$写成
$\hat{C}=$$[\begin{array}{c}{\rho }_{X1X1}\sqrt{D(X1)\ast D(X1)}\\ {\rho }_{X2X1}\sqrt{D(X2)\ast D(}\end{array}$