关于特征提取和PCA VS LDA(linear Discriminant Analysis)

最新推荐文章于 2025-03-22 21:07:15 发布
转载 最新推荐文章于 2025-03-22 21:07:15 发布 · 910 阅读 · 0

本文对比分析了PCA和LDA两种降维方法。PCA通过最大化数据方差来选择特征，而LDA则侧重于增强类别间的区分度。实验结果显示，在分类任务上LDA表现更佳。

关于特征提取和PCA VS LDA(linear Discriminant Analysis)(一)

  (2015-05-24 12:57:25)
转载▼

周六日看了两个很不错的营养贴，其一曰：
linear Discriminant Analysis Bit by Bit
http://sebastianraschka.com/Articles/2014_python_lda.html
其二曰：Discover Feature Engineering, How to Engineer Features and How to Get Good at It
http://machinelearningmastery.com/discover-feature-engineering-how-to-engineer-features-and-how-to-get-good-at-it/

 

现在做一下总结：

(一) linear Discriminant Analysis Bit by Bit

比较了下两种降维方法 lda和PCA，作者认为LDA可能要更好一点，因为PCA降维的依据是：对整个数据集(假设每个样本用n个特征表示)中相互垂直的n个方向(这个方向由特征向量指定)依据其对应的特征值进行排序，其直观理解是，这批样本在n个方向上方差大小不同，找出最大的若干方差所对应的特征向量，然后以这几个特征向量所组成的子空间作为新样本空间，将原来样本都透射到这个子空间去。

而LDA所使用的方法是先计算出类内散点矩阵和类间散点矩阵：

 关于特征提取和PCA <wbr>VS <wbr>LDA(linear <wbr>Discriminant <wbr>Analysis)(一)

 关于特征提取和PCA <wbr>VS <wbr>LDA(linear <wbr>Discriminant <wbr>Analysis)(一)

然后类内矩阵的逆乘以类间矩阵A：

关于特征提取和PCA <wbr>VS <wbr>LDA(linear <wbr>Discriminant <wbr>Analysis)(一)

之后找出矩阵A的TOPnT特征值对应的特征向量，组成矩阵W，将原样本-特征矩阵X与新矩阵W相乘，得到X矩阵在新的子空间投影，也即降维后的样本-特征矩阵

关于特征提取和PCA <wbr>VS <wbr>LDA(linear <wbr>Discriminant <wbr>Analysis)(一)
下图是降维后各样本点的散点图，X轴是最大特征值对应的特征向量方向，Y轴是次大特征值对应的特征向量方向，从中可以看出X轴对各类样本点的区分相当好，而Y轴就要差很多。

关于特征提取和PCA <wbr>VS <wbr>LDA(linear <wbr>Discriminant <wbr>Analysis)(一)

使用PCA和LDA同时对样本集合X进行降维，都降至2维，得到的散点图如下：

关于特征提取和PCA <wbr>VS <wbr>LDA(linear <wbr>Discriminant <wbr>Analysis)(一)

可以看出，对于PCA降维后的样本散点图来说，其整体样本沿着X轴的方差最大，而沿着Y轴的方差次大。

而从LDA图可以看出，X轴方向对各类样本的区分度最好，而Y轴对各类样本的区分度次好。

所以可以看出，如果仅仅用于分类的话，LDA降维的效果要比PCA好一些。PCA更适合于解释样本在不同方向上的变化幅度大小。
我认为这篇帖子中，最值得一提的是作者对使用PCA的一些心得，比如如果特征值的分布很平均，那么我用PCA无济于事。

此外，他还提到LDA方法假设的几个前提：

(1)  样本数据是正态分布；

(2)  特征是随机独立的；

(3)  对于每个类别，具有一致的协方差矩阵(不太明白这块，原文是identical covariance matrix for every class，后来想了想，貌似是这个意思，每个样本都用n个特征，把这些特征做随机变量，对每个类别来说，n个随机变量就能形成一个协方差矩阵，对于所有的类来说，他们对应的协方差矩阵都是一样的--看了下面文章有感https://onlinecourses.science.psu.edu/stat557/book/export/html/35)；

不过作者又讲到，这些假设只是将LDA用于分类器时候适用的条件，如果LDA用于降维的话，即使这些条件不满足，跑出来的结果也足够好。


 

3

喜欢

0

使用LDA（Linear Discriminant Analysis）进行降维(dimention reduction)详解和实战
data+scenario+science+insight
05-04 984
使用LDA（Linear Discriminant Analysis）进行降维(dimention reduction)详解和实战 LDA也可被视为一种监督降维技术。不同于PCA（Principle Compoent Analysis）它是一种有监督的降维方法； LDA模型的优缺点： 优点： 在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。 在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。 缺点： 不适合...
机器学习-特征抽取-LDA(Linear Discriminant Analysis)
Santorinisu Blogs
02-21 1045
Section I: Brief Introduction on LDA Linear Discriminat Analysis (LDA) can be used as a technique for feature extraction to increase the computational efficiency and reduce the degree of overfitting d...
2D-LDA特征提取
12-25
2D-LDA特征提取，MATLAB程序，很使用，学习LDA的兄弟们可以看看
LDA方法人脸特征提取
01-11
LDA方法人脸特征提取
线性判别式分析-LDA-Linear Discriminant Analysis
weixin_33743661的博客
10-21 235
1. LDA是什么     线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。     基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，...
线性判别式分析（LDA）：特征提取
m0_37827994的博客
03-06 4016
线性判别式分析（LDA） 线性判别式分析(Linear Discriminant Analysis, LDA) 是一种有效的特征抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大，并且同时类内散布矩阵最小。即模式在该空间中有最佳的可分离性。 1.原理 将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影...
LDA, Linear Discriminant Analysis（线性判别分析）
weixin_44070509的博客
05-08 1802
上一篇博客简要介绍了基于特征值分解和SVD分解矩阵的PCA方法，本篇博客介绍LDA，并将二者进行比较总结。 一、LDA和PCA LDA的全称是Linear Discriminant Analysis（线性判别分析） PCA是将数据投影到方差最大的几个相互正交的方向上，以期待保留最多的样本信息。样本的方差越大表示样本的多样性越好。x轴和y轴都不是最理想的投影，故上图中PCA会将数据投影在红色的轴上。 若根据PCA进行降维，将会把数据映射到红色直线上，这样做投影确实方差最大，但是这样做投影之后两类数据样本将
机器学习之线性判别分析（Linear Discriminant Analysis）
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
07-26 7853
Iris 鸢尾花数据集是一个经典数据集，在统计学习和机器学习领域都经常被用作示例。数据集内包含 3 类共 150 条记录，每类各 50 个数据，每条记录都有 4 项特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度，可以通过这4个特征预测鸢尾花卉属于（iris-setosa, iris-versicolour, iris-virginica）三种中的哪一品种。LDA是一种简单而有效的分类器和降维方法，特别适用于特征维度较低、数据符合高斯分布的问题。
精选资源
特征提取数据降维PCA、LDA、MDS、LLE、TSNE等降维算法的python实现.zip
03-10
例如，使用`sklearn.decomposition.PCA`进行PCA，`sklearn.discriminant_analysis.LinearDiscriminantAnalysis`进行LDA，`sklearn.manifold.MDS`进行MDS，`sklearn.manifold.LocallyLinearEmbedding`进行LLE，以及`...
线性降维之LDA与PCA
刘炫320的博客
07-20 2505
1.前言如果我只说LDA，那么对于自然语言处理的人来讲，可能更熟悉的是LDA主题模型。但是一旦我跟上PCA了，那么这两个兄弟，我相信从事机器学习相关的同学就会知道，这是在讲——线性降维。2. 摘要我们这里首先给出LDA和PCA之间的区别与联系，然后我们再详细讲解两个线性降维方法。因为实际上，scikit-learning机器学习工具包中就已经包含了LDA和PCA降维的实现，因此我们如果在应用时，可以
用LDA和PCA模式识别方法对人脸特征进行提取计算的Matlab程序
10-13
用LDA和PCA模式识别方法对人脸特征进行提取计算的Matlab程序
Iris数据集的LDA和PCA 2D投影比较.ipynb
05-20
需要使用anaconda notebook打开，
机器学习：特征提取之LDA
pantingd的博客
06-25 5282
1. LDA的基本思想 LDA基本思想：给定带有标签的训练样本集，设法将样本投影到一条直线上，使得同类样本的投影点尽可能近，异类样本的投影点尽可能远。如果是进行分类，将新样本投影到同样的这条直线上，根据投影点的位置来确定新样本的类别。 将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性 举个例子，上图给出了两种不同的投影方式，直观上来看右图更好。因为右图中蓝色和红色数据较为集中
基于LDA特征提取的人脸识别算法matlab仿真
FPGA/MATLAB学习教程/源码/项目合作开发
06-27 979
假设我们有一个由$n$个样本组成的数据集$X={x_1,x_2,...,x_n}$，每个样本有$d$维特征，我们的目标是将这个数据集降到$k$维，即将每个样本$x_i$转化为$k$维向量$y_i$，使得样本在$k$维空间中的方差最大。我们可以通过对样本协方差矩阵进行特征值分解，得到协方差矩阵的$k$个最大特征值和对应的特征向量，将这$k$个特征向量组成的矩阵$W$作为变换矩阵，将每个样本$x_i$乘以变换矩阵$W$，得到降维后的样本$y_i=W^Tx_i$。
文本分类（五）：使用LDA进行文本的降维---提特征
热门推荐
xgli的博客
10-10 1万+
每个文本可以看作是又不同的主题构成了，各个主题
使用PCA和LDA进行特征选择与提取
qq_48068259的博客
11-17 1214
使用PCA和LDA进行特征选择与提取
14、AI工程日志：LDA降维之有监督特征提取实战【附核心代码】
最新发布
轻口味的专栏
03-22 973
LDA作为一种有监督的线性降维方法，在文本分类等有监督学习任务中展现出了显著的优势。通过优化类间散度和类内散度，LDA能够有效地提取数据中的判别性特征，提高模型的分类性能。与无监督的PCA相比，LDA在降维过程中充分利用了类别标签信息，使得降维后的数据更符合分类任务的需求。然而，LDA也存在一些局限性。例如，LDA假设数据服从多元高斯分布，且不同类别具有相同的协方差矩阵，这在实际数据中可能不完全成立；此外，LDA的降维能力受限于类别数，当类别数较少时，降维后的维度可能仍然较高。
特征提取及PCA、LDA分析
sanshao2360的博客
11-02 471
import numpy as np import pandas as pd import glob,os import re from matplotlib.colors import ListedColormap from sklearn.linear_model import LogisticRegression #需要遍历的母文件夹路径 path = r'C:\Users\74051\Desktop\电子舌\系列1' file_temp = r'C:\Users\74051\Desktop\电子舌.
LinearDiscriminantAnalysis
03-20
<think>好的，用户想了解线性判别分析（LDA）在机器学习或数据分析中的应用。首先，我需要整理LDA的基本概念、原理、步骤以及应用场景。根据提供的引用资料，引用[2]提到LDA也称为Fisher线性判别分析，所以应该强调其分类和降维的功能。 用户可能不太清楚LDA和PCA的区别，需要解释清楚。LDA是有监督的，考虑类别标签，而PCA是无监督的，只考虑方差。这部分需要重点说明，帮助用户理解何时选择LDA。 接下来，用户可能需要知道如何实际应用LDA，比如使用Python的sklearn库。根据引用[1]，代码示例中导入了LDA，因此需要提供一个简单的代码示例，展示数据预处理、模型训练和可视化步骤。同时，引用[4]提到了绘图问题，这里需要注意在示例代码中加入正确的绘图方法，避免用户遇到垂点位置错误的问题。 此外，用户的问题可能涉及LDA的数学原理。需要简要解释类内散度和类间散度的计算，以及如何求解特征向量。这部分需要用LaTeX公式展示，比如类内散度矩阵$S_W$和类间散度矩阵$S_B$，以及优化目标$S_W^{-1}S_B$的特征分解。注意公式必须用$$...$$格式，并单独成段。 关于应用场景，引用[3]中的示例链接可能包含更多实际案例，可以提及人脸识别、生物特征分类等，帮助用户理解LDA的实际用途。同时，要提到LDA的前提假设，比如正态分布和同方差，这样用户在使用时能注意数据是否符合条件。 用户可能遇到的问题包括维度限制，比如当类别数少时降维后的维度限制，以及小样本问题中的矩阵奇异情况。需要提醒用户注意这些点，并提供解决方法，比如使用正则化。 最后，根据用户的问题生成相关的进一步问题，比如与其他降维方法的比较、数学推导细节、参数调优等，这样可以帮助用户深入探索LDA的不同方面。</think>### 线性判别分析（LDA）详解 #### 1. **基本概念** 线性判别分析（Linear Discriminant Analysis, LDA）是一种有监督的机器学习方法，主要用于**分类任务**和**数据降维**。其核心思想是通过投影将高维数据映射到低维空间，使得不同类别数据之间的类间距离最大化，同时类内距离最小化[^2]。 #### 2. **核心公式** LDA的数学目标是优化**类间散度矩阵$S_B$**与**类内散度矩阵$S_W$**的比值： $$ J(w) = \frac{w^T S_B w}{w^T S_W w} $$ 通过求解广义特征值问题$S_W^{-1}S_B w = \lambda w$，得到最佳投影方向$w$。 #### 3. **应用步骤** 1. **计算类内散度矩阵$S_W$**： $$ S_W = \sum_{i=1}^k \sum_{x \in C_i} (x - \mu_i)(x - \mu_i)^T $$ 其中$C_i$为第$i$类样本集合，$\mu_i$为第$i$类均值。 2. **计算类间散度矩阵$S_B$**： $$ S_B = \sum_{i=1}^k N_i (\mu_i - \mu)(\mu_i - \mu)^T $$ $\mu$为全体样本均值，$N_i$为第$i$类样本数。 3. **求解投影矩阵**：对矩阵$S_W^{-1}S_B$进行特征分解，选择前$d$大特征值对应的特征向量。 #### 4. **Python实现示例** ```python from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA from sklearn.datasets import load_iris import matplotlib.pyplot as plt # 加载数据 data = load_iris() X, y = data.data, data.target # LDA降维到2维 lda = LDA(n_components=2) X_lda = lda.fit_transform(X, y) # 可视化 plt.scatter(X_lda[:,0], X_lda[:,1], c=y, cmap='viridis') plt.xlabel('LDA Component 1') plt.ylabel('LDA Component 2') plt.show() ``` 注意：绘图时需确保坐标轴比例一致，避免出现引用[^4]中提到的投影点偏移问题。 #### 5. **应用场景** - **分类任务**：如手写数字识别、生物特征分类 - **数据可视化**：将高维数据降至2D/3D进行观察 - **特征压缩**：在语音识别、图像处理中减少计算量 #### 6. **与PCA的区别** | 特性 | LDA | PCA | |---------------------|------------------------------|-------------------| | 监督性 | 需要类别标签（有监督） | 无监督 | | 优化目标 | 最大化类间差异，最小化类内差异| 最大化方差 | | 降维后维度上限 | $C-1$（C为类别数） | 无限制 | #### 7. **注意事项** - 数据需满足**正态分布**和**同方差性**假设 - 当类别数较少时，降维后维度受限制（最多$C-1$维） - 小样本问题中可能出现$S_W$矩阵奇异，可添加正则化项解决
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值