线性判别分析详解-优快云博客

原文来自博客园（华夏35度）http://www.cnblogs.com/zhangchaoyang 作者:Orisun
有一点修改

Discriminant Analysis就是根据研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。
根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。比如在KNN中用的就是距离判别，当然这里的“距离”又有好几种：欧氏距离、街区距离、甚至可以用皮尔森相关系数等。朴素贝叶斯分类用的就是Bayes判别法。本文要讲的线性判别分析就是用是Fisher判别式。
根据判别函数的形式，可以分为线性判别和非线性判别。

LDA和PCA比较

两者都是为了在对原始数据降维之后进行分类。PCA是无监督的方式，它没有分类标签，降维之后需要采用K-Means或自组织映射网络等无监督的算法进行分类。LDA是有监督的方式，它先对训练数据进行降维，然后找出一个线性判别函数。

两类线性判别分析

给定N个特征为d维的样例 $x^{(i)}\{x^{(i)}_1,x^{(i)}_2,\cdots,x^{(i)}_d\}$ ,其中有N1个样例属于类别w1，另外N2个样例属于类别w2。现在我们要将原始数据降低到只有一维，降维函数（或者叫投影函数）是: $y=w^T_x$ ,最后我们就依靠每个样例对应的y值来判别它属于哪一类。

形象的图求如下
映射到低维

我们就是要找到这个最佳的w，使得样例映射到y后最易于区分。

定义每类样例的均值点： $u_i = \frac{1}{N_i}\sum_{x\in \omega_i}^{}x$

样例投影到y后有均值点为： $\tilde{u_i} = \frac{1}{N_i}\sum_{x \in \omega_i}\omega^Tx = \omega^Tu_i$

我们希望投影后两类样例中心尽量地分离，即 $|\tilde{u_1}-\tilde{u_2}| = |\omega^T(u_1-u_2)|$ 越大越好。

同时我们希望投影之后类内部的方差 $\tilde{s_i}^2 = \sum_{y \in \omega_i}(y-\tilde{u_i})^2$ 越小越好。

由此得到我们的目标函数：

m a x J (ω) = | u 1 ~ - u 2 ~ | 2 s 1 ~ 2 + s 2 ~ 2

$max \ \ J(\omega) = \frac{|\tilde{u_1} - \tilde{u_2}|^2}{\tilde{s_1}^2 + \tilde{s_2}^2}$

又是个最优化问题。最终解得:

ω = (s 1 + s 2) - 1 (u 1 - u 2)

$\omega = (s_1+s_2)^{-1}(u1-u2)$
s1和s2分别中原始样例的方差。

这就是Fisher在1936年提出的线性判别分析。
如果 $y = \omega^Tx - \omega^Tu > 0$ ,u是所有样本的均值），就属于类别C1，否则就属于类别C2。

实际上使用线性回归得到的直线方向就是二值分类中LDA求得的直线方向。

多类线性判别分析

假设有C个类别，降以一维已经不能满足分类要求了，我们需要k个基向量来做投影， $W = [w_1|w_2|\cdots|w_k]$ 。样本点在这k维投影后的结果为 $[y_1,y_2,\cdots,y_k]$ ，且有 $y_i = w^T_ix \ ,\ \ y = W^Tx$ 。

S ω = \sum i = 1 C S ω i

$S_\omega = \sum^{C}_{i = 1}S_{\omega i}$

S ω = \sum x \in ω i (x - u i) (x - u i) T

$S_\omega = \sum_{x \in\omega_i}(x-u_i)(x-u_i)^T$

S B = \sum i = 1 C N i (u i - u) (u i - u) T

$S_B = \sum^{C}_{i = 1}N_i(u_i-u)(u_i-u)^T$

u = 1 N \sum \forall x x = 1 N \sum x \in ω i N i u i

$u = \frac{1}{N}\sum_{\forall x}x = \frac{1}{N}\sum_{x\in\omega_i}N_iu_i$
同样是求一个类似于(1)式的最优化问题，我们得到

S - 1 ω S B ω i = λ ω i

$S^{-1}_\omega S_B\omega_i = \lambda\omega_i$
即

ωi $\omega_i$ 是矩阵

S−1ωSB $S^{-1}_\omega S_B$ 的特征向量。首先求出

S−1ωSB $S^{-1}_\omega S_B$ 的特征值，然后取其前k个特征向量组成W即可，因为特征值大的对应的特征向量分割性好。另外

SB $S_B$ 的秩至多为C-1，所以

S−1BSB $S^{-1}_B S_B$ 不为0的特征值至多有C-1个，所以k最大为C-1。

由于 $S^{-1}_B S_B$ 不一定是对称矩阵，因此k个特征向量不一定正交，这也是与PCA不同的地方。求 $S^{-1}_B S_B$ 的特征向量不能采用奇异值分解的方式，而因该采用更通用的求一般方阵特征向量的方式。特征值的求法有很多，求一个D * D的矩阵的时间复杂度是 $O(D^3)$ , 也有一些求Top k的方法，比如说幂法，它的时间复杂度是 $O(D^2 * k)$ 。
那降维之后又如何根据y值来判别分类呢？原博中这个地方写的有问题，我们既然已经求出了降维函数y，接下来我们需要把样本投影到这个y上，然后再用其他的分类方法来进行分类。