LDA与PCA数据降维算法理论与实现（基于python）

数据降维

一、 线性判别分析（LDA）

linear Discriminant Analysis

用途：

数据预处理中的降维，分类任务

目标：

LDA关心的是能够最大化类间区分度的坐标轴成分
将特征空间（数据集中的多位样本）投影到一个维度更加小的Kw维子空间中，同时保持区分类别的信息

原理

投影到维度更低的空间，使得投影后的点，会形成按照类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近方法

监督性：LDA是‘有监督’的，它的计算是另一类特定的方向
投影：找到更合适分类的空间
与PCA不同，更关心分类而不是方差

数学原理

原始数据

变换数据

目标

找到投影该投影： $y=w^T\ast x$
LDA分类的一个目标是使得不同类别之间的距离越远越好，
同一个类别之间的距离越近越好
每类样例的均值：${\mu }_i=\frac{1}{N_i}{\sum }_{x\in {\omega }_i}x$
投影后的均值：$\widetilde{{\mu }_i}=\frac{1}{N_i}{\sum }_{x\in {\omega }_i}y=\frac{1}{N_i}{\sum }_{x\in {\omega }_i}{w}^T\ast x=w^T{\mu }_i$
投影后的两类样本中心点尽量分离：
$J(w)=|\widetilde{{\mu }_1}-\widetilde{{\mu }_2}|=|w^T({\mu }_1-{\mu }_2)|$

不仅是要考虑最大化$J(w)$
还有 散列值 ${\mu }_i$（样本的密集程度，值越大，越分散，反之，越集中）
同类之间应该越密集些：${\mu }_i=\frac{1}{N_i}{\sum }_{x\in {\omega }_i}(y-\widetilde{{\mu }_i}{)}^2$

如下图，如果映射到X1轴上，数据较为分散，而且红色的数据簇和蓝色的数据簇会重合，无法分开，而投影到X2轴上虽然$J(w$小了，可是数据却比较集中，分类效果相对于X1轴会比较好

目标函数：$j(w)=\frac{|\widetilde{{\mu }_1}}{{\widetilde{S_1}}^2+{\widetilde{S_2}}^2}$