线性判别分析（LDA）是一种统计方法，用于高维特征数据的降维，同时考虑类别标签信息。它旨在找到最佳的投影方向，使类别间分离度最大化，类内数据点的聚集度最小化。LDA不仅适用于二类问题，也可扩展到多类情况。在多类问题中，LDA通过寻找多个基向量来投影数据，以实现最佳分类效果。LDA的一个限制是假设数据服从高斯分布，对于非高斯分布样本，可能效果不佳。此外，LDA可能存在过度拟合的问题。LDA在实际应用中，如人脸识别和文本分类等领域，表现出色。
1. 问题
之前我们讨论的PCA、ICA也好，对样本数据来言，可以是没有类别标签y的。回想我们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。我们可以使用PCA来降维，但PCA没有将类别标签考虑进去，属于无监督的。
比如回到上次提出的文档中含有“learn”和“study”的问题，使用PCA后，也许可以将这两个特征合并为一个，降了维度。但假设我们的类别标签y是判断这篇文章的topic是不是有关学习方面的。那么这两个特征对y几乎没什么影响，完全可以去除。
再举一个例子，假设我们对一张100*100像素的图片做人脸识别，每个像素是一个特征，那么会有10000个特征，而对应的类别标签y仅仅是0/1值，1代表是人脸。这么多特征不仅训练复杂，而且不必要特征对结果会带来不可预知的影响，但我们想得到降维后的一些最佳特征（与y关系最密切的），怎么办呢？
2. 线性判别分析（二类情况）
回顾我们之前的logistic回归方法，给定m个n维特征的训练样例
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
