【机器学习】LDA 浅谈

最新推荐文章于 2025-04-02 14:37:45 发布

SoWhat1412

最新推荐文章于 2025-04-02 14:37:45 发布

阅读量791

点赞数 5

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/qq_31821675/article/details/82992490

机器学习专栏收录该内容

18 篇文章 ¥19.90 ¥99.00

订阅专栏

LDA是一种有监督的降维方法，假设样本数据服从正态分布且类内协方差相等。它寻找最佳投影向量，使得类别间距离最大化，类内距离最小化。适用于二分类问题，通过最大化类间离散度与类内离散度的比值。多分类情况下，LDA最多能降到C-1维。当类内离散度矩阵奇异时，可先用PCA降维。LDA与PCA的主要区别在于LDA考虑类别标签，寻找分类性能最好的方向，而PCA寻找样本点投影最大方差的方向。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 Linear Discriminant Analysis

相较于FLD（Fisher Linear Decriminant），LDA假设:1.样本数据服从正态分布，2.各类得协方差相等。虽然这些在实际中不一定满足，但是LDA被证明是非常有效的降维方法，其线性模型对于噪音的鲁棒性效果比较好，不容易过拟合。

2 二分类问题

原理小结：对于二分类LDA问题，简单点来说，是将带有类别标签的高维样本投影到一个向量w（一维空间）上，使得在该向量上样本的投影值达到类内距离最小、类内间距离最大（分类效果,具有最佳可分离性）。问题转化成一个确定w的优化问题。其实w就是二分类问题的超分类面的法向量。类似于SVM和kernel PCA，也有kernel FDA，其原理是将原样本通过非线性关系映射到高维空间中，在该高纬空间利用FDA算法，这里的关键是w可以用原样本均值的高维投影值表示，这样可以不需知道具体的映射关系而给出kernel的形式就可以了。和PCA一样，FDA也可以看成是一种特征提取（feature extraction）的方法，即将原来的n维特征变成一维的特征了（针对该分类只要有这一个

了解本专栏