线性判别分析（LDA）

 

线性判别分析(LDA) 是指在输入变量上构造线性判别函数的方法。即寻找一种变换,使得在某种意义下类间分离性最大,类内相异性最小。相对于PCA来讲，他是一种有监督的维数约简方法。

 

 

1. 在d维的特征空间中：

（1）各类样本均值向量m_i

m_i=1/N_i∑_x∈Xix i=1,2

（2）样本类内离散度矩阵S_i和总类内离散度矩阵Sw.

Si=∑_x∈Xi(x-m_i)(x-m_i)^T i=1,2

S_w=S₁+S₂ 

（3）样本类间离散度矩阵S_b

S_b=(m₁-m₂)(m₁-m₂)^T

2.在一维Y空间上

（1）各类样本均值向量m_i

 

_m_i=1/N_i∑_y∈Yiy i=1,2

（2）样本类内离散度矩阵_S_i²和总类内离散度矩阵_Sw.

_S_i=∑_y∈Xi(y-_m_i)² i=1,2

_S_w=_S₁²+_S_2²

 

（3）样本类间离散度矩阵_S_b

_S_b=(_m₁-_m₂)²

 

Fisher准则函数为

 

J(w)=|m₁-m₂|²/(s₁²+s₂²),

 

使得该方程的值最大化

 

也就是使得类内散度足够小，类间三度足够大。

 

设y=w^Tx，

 

则有

(_m₁-_m₂)²=w^TS_bw

 

_S_i²=w^TS_iw

 

J_F(w)=(w^TS_bw)/(w^TS_ww) 广义Rayleigh商

 

可以写为：

min_w -1/2w^TS_Bw

s.t. w^TS_ww=C

 

L(w,λ)=w^TS_Bw-λ(w^TS_ww-C)

 

令导数为0，得

S_Bw=λS_ww

即：

S_w^-1S_Bw=λw（Ax=λx的形式)

 

有：w=(R/λ)S_w^-1(m₁-m₂), w^*=S_w^-1(m₁-m₂)