线性判别分析LDA

一 LDA简介

1.点在直线上的投影

先回顾一下几何的知识，因为LDA采用了向量投影的方式将样本点投影在直线上。

假设P点是一个样本，我们想把P点投影到绿色的虚线上。考虑用向量投影，即$\overrightarrow{OP}$投影到 $\overrightarrow{OM}$上，投影为$|\overrightarrow{OM}|=|\overrightarrow{OP}|cos\theta =|\overrightarrow{OP}|\frac{\overrightarrow{OP}\ast \overrightarrow{OM}}{|\overrightarrow{OP}||\overrightarrow{OM}|}=\overrightarrow{OP}\ast \overrightarrow{u}$，其中$\overrightarrow{u}$是绿色虚线的单位向量。投影后的坐标M，即$\overrightarrow{OM}=\overrightarrow{OP}\ast \overrightarrow{u}\ast \overrightarrow{u}$。

用线性代数的记法来表示向量： 令$w=(w_1,w_2{)}^T$为2维列向量，表示投影直线的单位向量；令$x=(x_1,x_2{)}^T$为2维列向量，表示一个数据样本。那么该样本在直线上的投影为：$z=w^{T}x$,投影坐标为$Z=x\ast w^T\ast w$。

2.LDA思想

LDA的思想很朴素：给定一个训练样本集，它设法将所有样本投影到一条过原点的直线上（必须过原点，因为向量投影只适用于过原点的直线）,使得同类的投影点尽可能紧凑，异类的投影点尽可能的分开。 这个过程中投影实现了降维，投影点同近异远的性质实现了分类，故LDA是一个分类和降维的算法。下面给出一个二维的示意图：

所以，LDA的目标就是找到这样一条直线。如何找？以二维样本为例，投影后的数据为$z=w^{T}x$，直线方程为$y=kx,k=\frac{w_2}{w_1}$。$x$是样本我们已知，故LDA就是在求解最佳的$w$，几何的解释就是在求解最佳的一个单位向量。

二 2-分类LDA

1.数学推导

给定数据集$D={\left\{\begin{array}{c}(x_i,y_i)\end{array}\right\}}_{i=1}^m$,令$X_i,u_i,Z_i$分别表示第$i\in (0,1)$类的集合、均值列向量和投影集合，令$\widetilde{u_i}$表示第$i$类投影后的均值，有：
$$\begin{array}{rl}{u}_i& =\frac{1}{N_i}\\ \widetilde{u_i}& \end{array}$$