一 LDA简介
1.点在直线上的投影
先回顾一下几何的知识,因为LDA采用了向量投影的方式将样本点投影在直线上。
假设P点是一个样本,我们想把P点投影到绿色的虚线上。考虑用向量投影,即OP→\overrightarrow{OP}OP投影到 OM→\overrightarrow{OM}OM上,投影为∣OM→∣=∣OP→∣cosθ=∣OP→∣OP→∗OM→∣OP→∣∣OM→∣=OP→∗u→|\overrightarrow{OM}|=|\overrightarrow{OP}|cos\theta=|\overrightarrow{OP}|\cfrac{\overrightarrow{OP}*\overrightarrow{OM}}{|\overrightarrow{OP}||\overrightarrow{OM}|}=\overrightarrow{OP}*\overrightarrow{u}∣OM∣=∣OP∣cosθ=∣OP∣∣OP∣∣OM∣OP∗OM=OP∗u,其中u→\overrightarrow{u}u是绿色虚线的单位向量。投影后的坐标M,即OM→=OP→∗u→∗u→\overrightarrow{OM}=\overrightarrow{OP}*\overrightarrow{u}*\overrightarrow{u}OM=OP∗u∗u。
用线性代数的记法来表示向量: 令w=(w1,w2)Tw=(w_1,w_2)^Tw=(w1,w2)T为2维列向量,表示投影直线的单位向量;令x=(x1,x2)Tx=(x_1,x_2)^Tx=(x1,x2)T为2维列向量,表示一个数据样本。那么该样本在直线上的投影为:z=wTxz=w^Txz=wTx,投影坐标为Z=x∗wT∗wZ=x*w^T*wZ=x∗wT∗w。
2.LDA思想
LDA的思想很朴素:给定一个训练样本集,它设法将所有样本投影到一条过原点的直线上(必须过原点,因为向量投影只适用于过原点的直线),使得同类的投影点尽可能紧凑,异类的投影点尽可能的分开。 这个过程中投影实现了降维,投影点同近异远的性质实现了分类,故LDA是一个分类和降维的算法。下面给出一个二维的示意图:
所以,LDA的目标就是找到这样一条直线。如何找?以二维样本为例,投影后的数据为z=wTxz=w^Txz=wTx,直线方程为y=kx,k=w2w1y=kx,k=\cfrac{w_2}{w_1}y=kx,k=w1w2。xxx是样本我们已知,故LDA就是在求解最佳的www,几何的解释就是在求解最佳的一个单位向量。
二 2-分类LDA
1.数学推导
给定数据集D={
(xi,yi)}i=1mD=\begin{Bmatrix}(x_i,y_i) \end{Bmatrix}_{i=1}^mD={
(xi,yi)}i=1m,令Xi,ui,ZiX_i,u_i,Z_iXi,ui,Zi分别表示第i∈(0,1)i\in(0,1)i∈(0,1)类的集合、均值列向量和投影集合,令ui~\tilde{u_i}ui~表示第iii类投影后的均值,有:
ui=1Ni∑x∈Xixui~=1Ni∑z∈Ziz=1Ni∑x∈XiwTx=wTui \begin{aligned} u_i&=\cfrac{1}{N_i}\sum_{x\in X_i}x \\ \tilde{u_i}&=\cfrac{1}{N_i}\sum_{z\in Z_i}z=\cfrac{1}{N_i}\sum_{x\in X_i}w^Tx=w^Tu_i \end{aligned} uiui~=Ni1x∈Xi∑