线性判别分析【LDA】

LDA线性判别的思想很简单，把训练集样本投影到一条直线上，使得同类样本的投影点尽可能近，不同类样本点的距离尽可能远。即类内小，类间大。

一、LDA模型定义

下面我们把类内小，类间大这种思想转化为数学表达式：

上面的式子不容易求解，需要对上面的式子做化简。

二、LDA模型求解

2.1 求解方式1

2.2 求解方式2

上面的方法可能理解起来比较困难，下面是西瓜书和JerryLead笔记中求解J(w)的部分，这个理解起来比较简单。

三、LDA的缺点：

1>LDA不适合对非高斯分布进行降维。

2>LDA可能过度拟合数据

参考资料：1>机器学习-白板推导系列-线性分类

                    2>周志华-西瓜书

                    3>JerryLeadCS229的笔记中线性判别分析部分