个人总结：降维从 PCA 到 LDA

最新推荐文章于 2025-02-16 13:28:27 发布

yyhhlancelot

最新推荐文章于 2025-02-16 13:28:27 发布

阅读量1.4k

点赞数

分类专栏：机器学习文章标签： LDA PCA 降维机器学习

本文链接：https://blog.youkuaiyun.com/yyhhlancelot/article/details/90705616

版权

本文介绍了线性判别分析（LDA）与主成分分析（PCA）的降维原理，LDA作为有监督降维技术，旨在最大化类间方差和最小化类内方差，适用于分类任务；PCA则是无监督方法，目标是最大化样本方差。通过瑞利商的概念解释了LDA的优化目标，并探讨了两者在图像识别等领域的应用和优缺点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在个人总结：PCA中，对PCA的原理以及理由进行了一个概述，PCA应该是降维领域名声最大的算法，但是提到PCA，就不得不联想到另外一个名气也不小的降维算法 LDA : Linear Discriminant Analysis，线性判别分析。它在模式识别领域（人脸识别等图像识别领域）用途广泛。同时需要区分自然语言处理的LDA : Latent Dirichlet Allocation, 隐含狄利克雷分布。下面讲到的是线性判别分析。

LDA的目的

这里就需要和PCA进行区分了。PCA是无监督降维技术，面对的是没有类别的数据，而LDA不同，它是有监督降维技术，面对的是类别标记的数据。同时，PCA的目的是在投影后“在特征向量对应的维度最大投影方差”，而LDA的目的是“类内的方差最小化，类间的方差最大化”。用一张图进行理解。