判别分析-Fisher判别法

首先我们考虑均值和协方差的作用：
   总体的均值就代表总体的中心位置，而协方差矩阵则是可以用来衡量数据的离散程度，Fisher判别法的核心是希望能够找到一个直线投影方向，使得属于各个总体的数据在这个方向上离散程度尽可能的小，也就是数据尽可能的聚集到一块。同时又希望在这个方向上两个总体之间的间隔能尽可能的大，这样有利于分类。

​   我们把平面上的点投影到这个直线上，使得两个总体在这个直线上的投影尽可能地分开，就像把两堆混乱分布的点通过投影变得更有区分度一样。然后根据在这个直线上的位置（通过和判别阈值比较）来判断动物属于哪个总体。

为什么协方差矩阵可以用来衡量数据的离散程度？

​ 对角线上的元素是特征自身的方差，方差越大就代表：
$${\sigma }^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{x}{)}^2$$
​ 值越大，就代表这些样本点距离中心越远，就代表数据的分布越分散

​ 非对角线上的元素是特征之间的协方差：
$$Cov(X,Y)=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$$
​ 如果协方差的值>0，此时就代表$(x_i-\bar{x})(y_i-\bar{y})>0$的情况较多，这就代表$x_i,y_i$都大于均值或者都小于均值的情况较多，这就代表x,y 两个特征之间变化趋势相同的更多，也就是x变大y变大或者x变小y变小的情况更多，存在相关性。小于0的情况同理。

​ 那么两个变量在数据空间中有一定的 “同向” 变化趋势。这种趋势反映了它们在数据空间中的一种 “联合离散程度”。

​ 利于Cov(x,y)>0，而x的离散程度较大，那么y的离散程度也会比较大。

  我们假设有两个总体$G_1$和$G_2$，均值分别是${\mu }_1$和${\mu }_2$，且有共同的协方差矩阵$\sum$

  我们希望找到一个直线的投影方向$\alpha$，使得来自$G_1$的数据${\mathbf{X}}^{(1)}$映射为$Y_1$，且$Y_1={\mathbf{a}}^T{\mathbf{X}}^{(1)}$

  使得来自$G_2$的数据${\mathbf{X}}^{(2)}$映射为$Y_2$，且$Y_2={\mathbf{a}}^T{\mathbf{X}}^{(2)}$

  使得$Y_1,Y_2$的距离最大。

我们用一维马氏距离来表示距离，则新的变量的均值和协方差矩阵为：
$$\begin{gathered} E{Y}_1={\mathbf{a}}^T{\mathbf{\mu }}_1,E{Y}_2={\mathbf{a}}^T{\mathbf{\mu }}_2, \\ \text{Var}(Y_1)=\text{Var}(Y_2)={\mathbf{a}}^T\Sigma \mathbf{a}. \end{gathered}$$
计算一维马氏距离：
$$d=\underset{\mathbf{a}\in {\mathbb{R}}^p}{\max }\frac{{\left[{\mathbf{a}}^T({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)\right]}^2}{{\mathbf{a}}^T\Sigma \mathbf{a}}.$$
再次回顾目标，我们的目标是通过调整$\alpha$使得d最大。

此时我们引入已知的定理：

当$\mathbf{a}=c{\Sigma }^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)$时，$c\ne 0$且为常数，d可以取得最大值

此时我们另$y={\mathbf{a}}^T\mathbf{x}=({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^T{\Sigma }^{-1}\mathbf{x}$，为判别函数

取两个新变量的均值的均值得到中心：
$$\begin{gathered} {\mu }_y=\frac{1}{2}(E{Y}_1+E{Y}_2)=\frac{1}{2}{\mathbf{a}}^T({\mathbf{\mu }}_1+{\mathbf{\mu }}_2) \\ =\frac{1}{2}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^T{\Sigma }^{-1}({\mathbf{\mu }}_1+{\mathbf{\mu }}_2), \end{gathered}$$
则可以推导出：
$$\begin{gathered} E{Y}_1-{\mu }_y={\mathbf{a}}^T\left({\mathbf{\mu }}_1-\frac{{\mathbf{\mu }}_1-{\mathbf{\mu }}_2}{2}\right) \\ =\frac{1}{2}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^T{\Sigma }^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)>0, \\ E{Y}_2-{\mu }_y={\mathbf{a}}^T\left({\mathbf{\mu }}_2-\frac{{\mathbf{\mu }}_1-{\mathbf{\mu }}_2}{2}\right) \\ =-\frac{1}{2}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^T{\Sigma }^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)<0. \end{gathered}$$
则判别规则为：
$$\begin{array}{r}\{\begin{array}{ll}\text{判}\mathbf{x}\in G_1,& \text{如果}y=({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^T{\Sigma }^{-1}\mathbf{x}\ge {\mu }_y,\\ \text{判}\mathbf{x}\in G_2,& \text{如果}y=({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^T{\Sigma }^{-1}\mathbf{x}<{\mu }_y.\end{array}\end{array}$$