机器学习算法系列（十一）-线性判别分析算法（二）（Linear Discriminant Analysis Algorithm）

阅读本文需要的背景知识点：正态分布、线性判别分析、一丢丢编程知识

一、引言

  前面一节介绍了基本的线性判别分析算法，最后留下了一个问题，我们在使用 sklearn 得到的结果与上一节中自己实现的结果不同，这一节就来看看 sklearn 中通过概率分布的角度是如何实现线性判别分析的。

二、模型介绍

一元正态分布

  在介绍模型之前先来回顾一下一个在统计学中特别常见的分布——正态分布¹（Normal distribution），同时也被称为高斯分布（Gaussian distribution），该分布是下面介绍模型的基础。
$$f(x;\mu ;\sigma )=\frac{1}{\sigma \sqrt{2\pi }}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$

  上面为一元正态分布的概率密度函数，其中 $x$ 为一元随机变量，$\mu$ 为位置参数，$\sigma$ 为尺度参数。

不同尺度参数的正态分布图示

多元正态分布

  在机器学习中我们的输入特征一般是多维的，多元正态分布的概率密度函数可以从一元正态分布的概率密度函数得到的。为了简单起见，假设随机变量之间是独立的，即相互之间不存在线性相关性。
（1）随机变量之间相互独立，则联合概率密度函数为每一个随机变量的概率密度函数的乘积，其中 x 为 $p$ 维
（2）分别带入各个一元概率密度函数
（3）将 e 的指数用 z 的平方来表示
（4）z 的平方可以写成向量矩阵的形式
（5）观察中间的对角矩阵，用 $\Sigma$ 来表示该对角矩阵的逆矩阵
（6）则 z 的平方可以简写成该式，x 为特征向量，$\mu$ 为均值向量。该表达式被称为马哈拉诺比斯距离²（Mahalanobis distance），用于表示数据的协方差距离
（7）观察 $\Sigma$，$\Sigma$ 的行列式为对角线上的元素相乘，开根号后为各 $\sigma$ 的乘积，$|\Sigma |$ 表示 $\Sigma$ 的行列式
（8）带入回多元正态分布的概率密度函数中，得到最终的形式
$$\begin{array}{rl}f(x)& =f\left(x_1\right)f\left(x_2\right)\dots f\left(x_p\right)\\ & =\frac{1}{{\sigma }_1{\sigma }_2\dots {\sigma }_p(\sqrt{2\pi }{)}^p}\exp \left(-\frac{{\left(x_1-{\mu }_1\right)}^2}{2{\sigma }_1^2}-\frac{{\left(x_2-{\mu }_2\right)}^2}{2{\sigma }_2^2}-\cdots -\frac{{\left(x_p-{\mu }_p\right)}^2}{2{\sigma }_p^2}\right)\\ z^2& =\frac{{\left(x_1-{\mu }_1\right)}^2}{{\sigma }_1^2}+\frac{{\left(x_2-{\mu }_2\right)}^2}{{\sigma }_2^2}+\cdots +\frac{{\left(x_p-{\mu }_p\right)}^2}{{\sigma }_p^2}\\ & =[\begin{array}{c}{x}_1-{\mu }_1\\ x_2-{\mu }_2\\ \cdots \end{array}\\ \Sigma & \\ z^2& \\ |\Sigma {|}^{\frac{1}{2}}& \\ f(x)& \end{array}$$