PCA与LDA两种降维方法原理的简要对比

最新推荐文章于 2025-05-25 13:45:49 发布
原创 最新推荐文章于 2025-05-25 13:45:49 发布 · 2.2k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#PCA #LDA

1、PCA(主成分分析)

无监督的，选择的是投影后数据方差最大的方向。因此PCA假设方差越大，代表的信息量越大，使用主成分来表示原始数据可以去除冗余的维度，达到降维的目的。

2、LDA(线性判别分析)

有监督的，选择的是投影后类内方差小、类间方差大的方向。用到了类别标签信息，为了找到数据中具有判别性的维度，使原始数据在这些方向上投影后，不同类别尽可能区分开来。

 

例如：语音设别中，如果想从音频中提取某人的语音信号，可以使用PCA进行降维，来过滤掉一些固定频率（方差相对较小）的背景噪声。但如果需要从这段音频中识别出声音属于哪个人的，就需要使用LDA对数据进行降维，使每个人的语音信号具有区分性。

LDA（线性判别分析）--基础降维算法
m0_74194861的博客
07-12 4113
关于LDA的个人·全部总结
PCA LDA 降维算法 介绍 实现 对比
weixin_44839047的博客
12-05 1465
PCA的原理、学习模型、算法步骤 PCA的目的是对于对于样本x∈Rdx\in \R^dx∈Rd，寻找到一个变换矩阵WT，W∈Rd×m,m<dW^T，W\in\R^{d\times m},m<dWT，W∈Rd×m,m<d，通过变换矩阵可以将样本转化为低维表示y=WTxy=W^Txy=WTx，并且最大可能的保留样本信息。 从最大投影误差来解释PCA的原理，我们希望得到的yyy在特征空间中能尽可能的分散，假设对于样本集合满足0均值化，∑xi=0\sum x_i=0∑xi​=0，那么投影之后的新样
主成分分析（PCA）与线性判别分析（LDA）的区别与联系
梁小憨憨的博客
08-04 9600
刚整理完PCA的内容，又记得之前用过LDA但是并没有在这里整理，所以今天把这两个算法整理下，方便以后查阅。
深入探究PCA+LDA在人脸识别中的应用
最新发布
weixin_26854475的博客
05-25 1040
在计算机视觉和机器学习领域，数据降维指的是将高维数据转换为低维数据的过程，同时尽可能保留原始数据的重要信息。数据降维的目的有多方面：减少存储成本：高维数据需要更多的存储空间，降维可以显著降低存储成本。提高处理速度：低维数据意味着更少的计算资源，这可以显著提升算法的运行速度。提高可解释性：直观理解数据变得更加容易，因为可以更容易地在二维或三维空间中可视化数据。去除冗余信息：通过降维可以去除数据中的噪声和冗余特征，提升数据质量。
机器学习——PCA与LDA
DCGJ666的博客
04-17 5569
机器学习——PCA与LDAPCA推导一个PCALDALDA的中心思想是什么LDA的优缺点LDA的步骤推导LDAPCA和LDA有什么区别 PCA 主成分分析（PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分 可以使用两种方法进行PCA，分别是特征分解或奇异值分解（SVD）。PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。 算法步骤 假设有m条n维数据 将原始数据按列组成n行m
PCA和LDA
机器学习
11-11 1991
主成分分析算法（PCA） Principal Component Analysis(PCA)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。 通俗的理解，如果把所有的点都映射到一起，那么几乎所有的信息（如点和点之间的距离关系）都丢失了，而如果映射后方差尽可能的大
线性降维和PCA
W.J.Z
04-17 608
LDA与PCA都是常用的降维方法，二者的区别
Gunther的博客
10-22 1万+
从主观的理解上，主成分分析到底是什么？它其实是对数据在高维空间下的一个投影转换，通过一定的投影规则将原来从一个角度看到的多个维度映射成较少的维度。到底什么是映射，下面的图就可以很好地解释这个问题——正常角度看是两个半椭圆形分布的数据集，但经过旋转（映射）之后是两条线性分布数据集。 LDA与PCA都是常用的降维方法，二者的区别在于： 出发思想不同。PCA主要是从特征的
通俗易懂的LDA降维原理
LOLUN9的博客
05-23 8579
目录 例子 LDA降维 在前几篇的文章中，大管提到了PCA降维，有小伙伴私信说在实际情况中，效果不太好。那大管今天就和大家聊一聊另一种降维的方法线性判别分析 (LDA)。它目前也是机器学习领域中比较经典而且又热门的一种算法。 还记得在PCA中是怎样做的吗？简单来说，是将数据映射到方差比较大的方向上，最后用数学公式推导出矩阵的前TopN的特征向量，这里的方差可以理解为数据内部的离散程度。而LDA不同于PCA的是它是一种有监督的降维方法。下面举一个小例子来直观的说明PCA和LDA的不同降维方法...
机器学习 | 降维：LDA
知识库搭建ing
05-30 4305
给定带有标签的训练样本集，设法将样本投影到一条直线上，使得同类样本的投影点尽可能近，异类样本的投影点尽可能远。
【机器学习】二分类+多分类LDA线性判别分析降维算法的原理与推导
weixin_46564151的博客
03-06 4240
二分类+多分类LDA线性判别分析降维算法的原理与推导
LDA降维经典程序
05-17
Matlab LDA降维经典程序，新手或参考，不错的资源。
PCA和LDA在高光谱图像降维中的应用综述
09-12
本研究回顾了基于主成分分析PCA和判别分析LDA的降维方法及其扩展，包括经典主成分分析、概率主成分分析、核主成分分析，以及线性判别分析、局部保持降维、图形嵌入判别分析和半监督降维分析。
基于PCA-LDA光谱数据的降维处理,高光谱图像pca降维,matlab
09-10
光谱数据降维处理，结合了主成分分析和LDA方法，可直接运行
线性判别分析（LDA）：原理、应用与实践
2501_90186640的博客
04-15 1419
本文深入探讨线性判别分析（LDA）这一经典降维方法。详细介绍其思想、核心原理、算法流程，对比与PCA的异同及自身优缺点。旨在帮助读者理解LDA在机器学习中的应用，掌握其使用方法，为数据降维与分类任务提供有效技术支持。
高光谱图像处理，使其适用于深度学习任务
qq_45809323的博客
09-10 2907
高光谱图像的处理涉及从降维、归一化等基础步骤，到图像块切割、数据增强等操作，最终通过深度学习模型进行检测。选择适合的模型架构、输入格式和后处理方法可以有效提高高光谱图像在深度学习任务中的表现。
机器学习——降维算法-线性判别分析（LDA）
weixin_39753819的博客
03-29 1897
本文介绍了LDA算法的理论基础、算法过程、优缺点，以及与PCA算法的区别与联系。LDA算法能够有效地提取数据集的主要特征，并保留了数据集的类别信息，在某些情况下可以更好地适用于分类任务。通过Python实现了一个简单的LDA算法示例，展示了LDA的基本原理和应用。在实际应用中，我们可以根据具体问题的需求选择合适的降维方法来处理数据。
机器学习(30)之线性判别分析(LDA)原理详解
热门推荐
机器学习算法与Python学习
12-07 1万+
微信公众号 关键字全网搜索最新排名 【机器学习算法】：排名第一 【机器学习】：排名第一 【Python】：排名第三 【算法】：排名第四 前言 在主成分分析（PCA）原理总结（机器学习(27)【降维】之主成分分析(PCA)详解）中对降维算法PCA做了总结。这里就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 简称LDA）做一个总结。
LDA算法原理及LDA与PCA的比较
Diliduluw的博客
04-18 6397
1. LDA算法简介 LDA（线性判别式分析 Linear Discriminant Analysis）属于机器学习中的监督学习算法，常用来做特征提取、数据降维和任务分类。在人脸识别、人脸检测等领域发挥重要作用。LDA算法与PCA算法都是常用的降维技术。二者的区别在于：LDA是一种监督学习的降维技术，也就是说它的每个样本是有类别输出的，而之前所学习的PCA算法是不考虑样本类别输出的无监督降维技术...
LDA模型如何对数据进行降维，并且给出降维计算公式
02-16
<think>好的，用户现在问的是LDA模型如何对数据进行降维，并且要求给出降维的计算公式。首先，我需要回顾一下之前和用户的对话历史。用户之前可能误将Python拼写为puthpn，我给出了Fisher判别分析的示例代码，包括使用scikit-learn库和从零实现的二分类版本。现在用户进一步深入询问LDA的降维机制和数学公式，说明他们可能对理论部分感兴趣，或者需要更深入的理解来应用在项目中。 用户的问题可以分为两个部分：一是LDA如何降维，二是降维的公式是什么。我需要确保回答清晰、准确，并且涵盖这两个方面。首先，我需要回忆LDA的基本原理。LDA（线性判别分析）是一种监督学习的降维技术，同时也用于分类。它的核心思想是最大化类间散度，同时最小化类内散度，从而找到最佳投影方向。 接下来，用户可能需要了解LDA与PCA的区别，虽然这可能不是直接的问题，但适当提及有助于用户理解LDA的特性。例如，PCA是无监督的，寻找方差最大的方向，而LDA是有监督的，利用类别信息找到最佳投影。 然后，我需要详细解释LDA的降维步骤。通常包括计算类内散度矩阵Sw、类间散度矩阵Sb，然后求解广义特征值问题，即Sb w = λ Sw w。最大的特征值对应的特征向量即为投影方向。对于多分类问题，LDA可以降维到最多类别数减一的维度，比如三分类问题可以降到二维。 在公式方面，需要给出类内散度矩阵Sw的计算公式，即各个类别的协方差矩阵之和。类间散度矩阵Sb则是各个类别均值与总体均值的外积加权求和。然后，投影矩阵W由Sb和Sw的广义特征向量组成，按特征值大小排序，取前k个作为投影方向。 用户可能需要具体的数学表达式，所以需要用LaTeX格式清晰地呈现这些公式，例如Sb和Sw的公式，以及广义特征值问题。同时，投影的公式是X_projected = X W，其中W是投影矩阵。 另外，用户之前已经得到过代码示例，可能需要将公式与代码联系起来，说明代码中的哪些部分对应这些公式。例如，在从零实现的二分类FisherDA类中，计算了Sw和mu1、mu2，然后求w作为投影方向，这对应了公式中的步骤。 还需要注意用户可能的疑问点，比如为什么LDA降维后的维度是类别数减一，或者如何处理多分类问题。在回答中可以简要提及这些点，以增强理解的全面性。 最后，确保回答结构清晰，先讲原理，再讲步骤，然后给出公式，最后可能再联系代码示例，帮助用户将理论与实践结合起来。同时，保持语言简洁，避免过于专业的术语，或者对术语进行适当解释，确保用户能够理解。</think>以下是关于 **线性判别分析（LDA，即Fisher判别分析）** 如何降维的详细解释及其核心公式： --- ### **LDA降维的核心思想** LDA是一种监督降维方法，其目标是通过投影，将高维数据映射到低维空间，同时满足： 1. **最大化类间距离**（不同类别的数据尽可能分开）。 2. **最小化类内距离**（同一类别的数据尽可能聚集）。 通过优化这两个目标，LDA找到一组投影方向（即线性判别向量），使得降维后的数据保留类别可分性。 --- ### **降维步骤与公式** #### **1. 计算类内散度矩阵（Within-class scatter matrix）** - **公式**： \[ S_w = \sum_{c=1}^C \sum_{i \in c} (x_i - \mu_c)(x_i - \mu_c)^T \] - \( C \)：类别总数 - \( \mu_c \)：第 \( c \) 类样本的均值向量 - \( x_i \)：第 \( c \) 类的第 \( i \) 个样本 #### **2. 计算类间散度矩阵（Between- \mu)^T \] - \( \mu \)：全体样本的均值向量 - \( N_c \)：第 \( c \) 类样本的数量 #### **3. 求解广义特征值问题** LDA的目标是最大化类间散度与类内散度的比值，即： \[ \text{最大化} \quad \frac{w^T S_b w}{w^T S_w w} \] - **求解方法**：对矩阵 \( S_w^{-1} S_b \) 进行特征值分解，得到特征值 \( \lambda \) 和对应的特征向量 \( w \)。 - **投影方向**：选择前 \( k \) 个最大特征值对应的特征向量（\( k \leq C-1 \)），组成投影矩阵 \( W = [w_1, w_2, ..., w_k] \)。 #### **4. 数据降维** 将原始数据 \( X \) 投影到选定的判别向量上： \[ X_{\text{projected}} = X \cdot W \] - 结果：将原始 \( d \) 维数据降至 \( k \) 维（通常 \( k \ll d \)）。 --- ### **示例公式推导（二分类场景）** 对于二分类问题（\( C=2 \)），LDA只需找到一个投影方向 \( w \)，其闭式解为： \[ w = S_w^{-1} (\mu_2 - \mu_1) \] - \( \mu_1, \mu_2 \)：两类样本的均值向量 - 投影后数据：\( x_{\text{new}} = w^T x \) --- ### **LDA降维的代码实现（与公式对应）** 以二分类为例，从零实现核心步骤： ```python import numpy as np class LDA: def __init__(self, n_components=1): self.n_components = n_components def fit(self, X, y): # 计算类内散度矩阵 Sw classes = np.unique(y) self.Sw = np.zeros((X.shape[1], X.shape[1])) self.Sb = np.zeros((X.shape[1], X.shape[1])) overall_mean = np.mean(X, axis=0) for c in classes: X_c = X[y == c] mean_c = np.mean(X_c, axis=0) # 更新 Sw self.Sw += (X_c - mean_c).T.dot(X_c - mean_c) # 更新 Sb n_c = X_c.shape[0] self.Sb += n_c * (mean_c - overall_mean).reshape(-1, 1) @ (mean_c - overall_mean).reshape(1, -1) # 求解广义特征值问题，取前n_components个特征向量 eigvals, eigvecs = np.linalg.eig(np.linalg.inv(self.Sw) @ self.Sb) eigvecs = eigvecs.real # 取实部 idx = np.argsort(eigvals)[::-1] # 按特征值降序排序 self.W = eigvecs[:, idx[:self.n_components]] def transform(self, X): return X @ self.W # 使用示例 X = np.array([[1, 2], [2, 3], [3, 3], [6, 5], [7, 8], [8, 8]]) y = np.array([0, 0, 0, 1, 1, 1]) lda = LDA(n_components=1) lda.fit(X, y) X_lda = lda.transform(X) print("降维结果:\n", X_lda) ``` --- ### **关键点总结** 1. **维度限制**：LDA降维后维度最多为 \( C-1 \)（\( C \) 为类别数）。例如，3类数据最多降至2维。 2. **与PCA的区别**： - LDA是有监督的，利用类别标签优化可分性。 3. **实际应用**：适用于分类任务的特征降维（如人脸识别、生物信息学）。 如果需要进一步解释公式中的数学推导或代码细节，请随时说明！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值