1.2. Linear and Quadratic Discriminant Analysis（线性判别和二次判别分析）（二）

1.2. Linear and Quadratic Discriminant Analysis

这部分内容是紧跟着上一章LDA和QDA算法详解的，所以在这里我们不会涉及到更多的算法的推到，只是对上一章的算法做出解释。

三、LDA降维

3.1有监督学习的降维

LDA可以作为有监督学习中的降维方法使用。（我们通常说的降维是无监督学习中的，是一种数据处理的方法，比如PCA，所以遇到一个有监督学习的降维对我而言显得很难能可贵）

它很厉害，因为我们最终得到的空间的维数一定不大于类别数减1。（记类别数为K，则我们我们降维所得到的空间不会大于K-1）这是由矩阵乘法的性质决定的。

3.2为什么QDA不能用来降维

我们通常在机器学习中所说的降维，指代的是一种对数据进行处理的算法；而在对模型优化过程中所讲的降维，是一种计算方式。

那么为什么LDA可以用来降维，QDA却不行。我们知道，LDA作为QDA的一种特殊情况，它假定了所有类别的数据服从统一形式的分布，所以投影过程中，它都遵循这样的规则，不会更改数据的分布。所以，对于LDA，它在降维过程中不会破坏数据之间的原始分布，通过LDA降维获得的数据可以继续为其它模型提供服务。

但是QDA不一样，QDA在降维的时候，针对不同类别的数据，它对其作出了有关概率分布的调整（直观上表现为调整了不同类别的数据的协方差矩阵）。所以，QDA降维后的数据只能用于QDA自身算法，QDA降维不能作为一种数据处理方法为其它算法提供服务。

四、Mathematical formulation