特征选择和特征抽取（学习小结）

最新推荐文章于 2025-07-13 19:31:36 发布

zawdcxsa

最新推荐文章于 2025-07-13 19:31:36 发布

阅读量1.3k

点赞数

分类专栏：机器学习文章标签： python

机器学习专栏收录该内容

5 篇文章

订阅专栏

本文对比了特征抽取和特征选择两种降维方法的区别，并详细解释了主成分分析(PCA)和线性判别分析(LDA)这两种经典的特征抽取技术的应用场景及目标差异。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.特征抽取 V.S 特征选择

特征抽取和特征选择是DimensionalityReduction（降维）的两种方法，针对于the curse of dimensionality(维灾难)，都可以达到降维的目的。但是这两个有所不同。

特征抽取（Feature Extraction）:Creatting a subset of new features by combinations of the exsiting features.也就是说，特征抽取后的新特征是原来特征的一个映射。

特征选择（Feature Selection）:choosing a subset of all the features(the ones more informative)。也就是说，特征选择后的特征是原来特征的一个子集。

2. PCA V.S LDA

主成分分析(Principle Components Analysis ,PCA)和线性评判分析（Linear Discriminant Analysis,LDA）是特征抽取的两种主要经典方法。

对于特征抽取，有两种类别：

（1）Signal representation(信号表示): The goal of the feature extraction mapping is to represent the samples accurately in a low-dimensional space. 也就是说，特征抽取后的特征要能够精确地表示样本信息，使得信息丢失很小。对应的方法是PCA.

（2）Signal classification（信号分类): The goal of the feature extraction mapping is toenhance the class-discriminatory information in a low-dimensional space. 也就是说，特征抽取后的特征，要使得分类后的准确率很高，不能比原来特征进行分类的准确率低。对与线性来说，对应的方法是LDA . 非线性这里暂时不考虑。

可见， PCA和LDA两种方法的目标不一样，因此导致他们的方法也不一样。PCA得到的投影空间是协方差矩阵的特征向量，而LDA则是通过求得一个变换W,使得变换之后的新均值之差最大、方差最大（也就是最大化类间距离和最小化类内距离），变换W就是特征的投影方向。