降维方法

最新推荐文章于 2025-03-27 16:08:47 发布

guohui_0907

最新推荐文章于 2025-03-27 16:08:47 发布

阅读量421

点赞数

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/guohui_0907/article/details/101390041

版权

机器学习专栏收录该内容

10 篇文章

订阅专栏

PCA（主成分分析）是一种常见的线性降维方法，旨在最大化投影后的方差，保留数据信息，但分类效果不佳。LDA（线性判别分析）是有监督的降维算法，目标是最大化类别间差异，最小化类别内差异，适用于分类任务。两者在应用和目的上有显著区别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 PCA

       Principal Component Analysis(PCA)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。
       通俗的理解，如果把所有的点都映射到一起，那么几乎所有的信息（如点和点之间的距离关系）都丢失了，而如果映射后方差尽可能的大，那么数据点则会分散开来，以此来保留更多的信息。可以证明，PCA是丢失原始数据信息最少的一种线性降维方式。（实际上就是最接近原始数据，但是PCA并不试图去探索数据内在结构）
       PCA追求的是在降维之后能够最大化保持数据的内在信息，并通过衡量在投影方向上的数据方差的大小来衡量该方向的重要性。但是这样投影以后对数据的区分作用并不大，反而可能使得数据点揉杂在一起无法区分。这也是PCA存在的最大一个问题，这导致使用PCA在很多情况下的分类效果并不好。
       在进行PCA之前需要进行特征归一化，另一个角度出发，在吴恩达机器学习中，将PCA问题，描述为每个点到他们对应直线上的投影点的距离(也就投影误差)，使得距离的平方最小。
PCA与线性回归的区别：
在这里插入图片描述
       右边为线性回归，拟合一条直线，使得点到直线的垂直距离最小；左边为PCA，使得最短正交距离最小。

2 LDA

Linear Discriminant Analysis(也有叫做Fisher Linear Discriminant)是一种有监督的（supervised）线性降维算法。与PCA保持数据信息不同，LDA是为了使得降维后的数据点尽可能地容易被区分！
假设原始数据表示为X，（m*n矩阵，m是维度，n是sample的数量）。既然是线性的，那么就是希望找到映射向量a，使得 aX后的数据点能够保持以下两种性质：