LDA线性判别分析

---

---

$\frac {hit2015spring}{晨凫追风}$

给定训练集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能的近，异类样例点尽可能的远，对新样本进行分类的时候，将新样本同样的投影，再根据投影得到的位置进行判断，这个新样本的类别

二分类：
给定数据集$D={( x_i,y_i)}_{i=1}^m , y_i \in{0,1}$

$X_i$:第$i \in{{0,1}}$类的样本集合
$\mu_i$:第$i \in{{0,1}}$类的均值向量
$\sum_i$:第$i \in{{0,1}}$类的协方差矩阵

将数据投影在直线$w$上,则两类样本的中心点在直线上的投影分别为$w^T\mu_0$和$w^T\mu_1$

将所有的样本点投影到直线上之后，两类样本的协方差为$w^T\sum_0w$ 和$w^T\sum_1w$

由于直线是一维空间，因此$w^T\mu_0$ $w^T\mu_1$ $w^T\sum_0w$ 和$w^T\sum_1w$均为实数

为了把两类分的比较开于是有两个方面考虑
1、同类抱团更加紧密
2、不同类分的开

为了让同类的样本尽可能的接近，就让同类样本的投影点协方差尽可能的小，
于是有
$w^T\sum_0w + w^T\sum_1w$让他们尽可能的小

为了两类分的开：
于是有了两类的投影中心尽可能的远离
$\|w^T\mu_0 - w^T\mu_1\|_2^2$

要尽可能的大，这样就可以得到它的优化目标函数，使她最大就ok
$J=\frac{\| w^T\mu_0 - w^T\mu_1\|_2^2}{w^T\sum_0w + w^T\sum_1w}$

定义两个符号
类内散度矩阵：
$S_w=\sum_0 + \sum_1=\sum\limits_{x\in1X_0}{(x-\mu_0)(x-\mu_0)^T}+\sum\limits_{x\in1X_1}{(x-\mu_0)(x-\mu_0)^T}$
类间散度矩阵
$S_b=(\mu_0-\mu1)(\mu_0-\mu_1)^T$

于是得到了要优化的下式,最后需要优化的目标，使之最大化即可，求取$w$

$J=\frac{w^TS_bw}{w^TS_ww}$