模式识别经典算法——LDA

线性判别式分析，又称为Fisher线性判别~（Linear discriminant analysis）(Fisher linear discriminant)

最大化类间均值，最小化类内方差

通过调整权重向量组件，可选择一个投影方向，最大化地类别分离性~

两个类的均值向量：

对样本进行投影时，使得类别最简单的分离，是投影的类别均值的分离~

最大化类间均值

   其中约束

 

 

最小化类内方差

，其中

 

Fisher 判别准则：

等价于：

其中：

对权重W求微分，使得J(W)最大化，当：

化简之~

 

参考文献：Pattern recognition and machine learning (Christopher M. Bishop) pp: 186-189

此博文中，也有介绍~ 讲的非常好~  http://blog.youkuaiyun.com/warmyellow/article/details/5454943