PCA SVD LDA

最新推荐文章于 2024-11-04 09:00:00 发布
最新推荐文章于 2024-11-04 09:00:00 发布
阅读量1.6k 收藏 1
点赞数
本文探讨了PCA(主成分分析)与SVD(奇异值分解)的关系，并对比了PCA与LDA(线性判别分析)的不同应用场景。PCA适用于降维及去除变量间的相关性，特别指出PCA可视为SVD的一种应用形式。而LDA则主要用于分类任务，且其输入数据需带有标签。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

PCA的简单介绍及其matlab事项：http://www.cnblogs.com/tornadomeet/archive/2012/12/30/2839615.html

PCA vs SVD：http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html

PCA vs  LDA：http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html



LDA：降维，分类

SVD：压缩矩阵

PCA：降维，去相关；只用于方阵


LDA的输入数据是带标签的，而PCA的输入数据是不带标签的，所以PCA是一种unsupervised learning

其实PCA几乎可以说是对SVD的一个包装，如果我们实现了SVD，那也就实现了PCA了，而且更好的地方是，有了SVD，我们就可以得到两个方向的PCA，如果我们对A’A进行特征值的分解，只能得到一个方向的PCA

jiaobei2354717
关注
机器学习面经 - SVD、PCA、LDA
duyuehuang7686的博客
08-02 356
当涉及到降维和特征提取时，PCA、LDA和SVD是三种常用的线性代数和机器学习算法。它们在不同的应用场景下有着各自的优势和用途，也是面试中常问的一些基础知识。一句话总结：PCA是一种无监督降维算法，通过保留数据的主要信息来减少特征维度。LDA是一种有监督降维算法，着重于最大化类别之间的可分性。SVD是一种数学分解技术，常用于矩阵分解和数据压缩。答：PCA也叫主成分分析法，PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。
机器学习--降维总结--PCA\LDA\SVD
小黎的学习总结的博客
03-02 831
本文部分参考和摘录了以下文章，在此由衷感谢以下作者的分享！ https://zhuanlan.zhihu.com/p/77151308 周志华老师的西瓜书 百面机器学习 开始咯！ 降维 什么是降维呢，可以想象一个5 * 4矩阵乘以一个4 * 3 的一个矩阵，相当于对5 * 4的矩阵进行了线性变换，得到一个5 * 3的一个矩阵，他的维度就变成了5*3。 那么降维有什么好处呢，我们为什么要进行降维？在...
PCA、SVD和LDA
虎哥的铲屎员
07-08 783
文章目录1.数学知识2.PCA，主成分分析2.1 方差最大原理2.1.1推导2.1.1总结2.1 最小平方误差角度2.3 总结3.SVD（奇异值分解）SVD性质 原始数据有时有高维特征向量，可能包含很多冗余和噪声。通过降维寻找数据内部的特性，提升特征的表达能力，降低训练复杂度。 1.数学知识 数据标准化 x−x‾std\frac{x - \overline x}{std}stdx−x​，在处理数...
【机器学习】PCA、LDA、SVD
littlemichelle
03-03 3288
线性变换 如果我们将向量 v 左乘矩阵 A，我们就会得到新的向量 b，也即可以表述说矩阵 A 对输入向量 v 执行了一次线性变换，且线性变换结果为 b。因此矩阵运算 Av = b 就代表向量 v 通过一个变换（矩阵 A）得到向量 b。下面的实例展示了矩阵乘法（该类型的乘法称之为点积）是怎样进行的： 如果假设矩阵就是一阵风，它通过有形的力量得出可见的结果。而这一阵风所吹向的方向就是特征向...
PCA SVD LDA --- Machine Learning笔记1
逐梦平常心
03-06 928
PCA推导部分与笔记详见笔记本与UFLDL教程从几何上形象地对SVD与特征值的理解： https://my.oschina.net/findbill/blog/535044其实SVD包含于PCA之中，相比于针对方阵的特征值分解，SVD普适性更强。主成分分析（PCA）与LDA有着非常近似的意思，LDA的输入数据是带标签的，而PCA的输入数据是不带标签的，所以PCA是一种unsupervised le
特征值分解，奇异值分解（SVD），线性判别分析（LDA）
OldDriver1995的博客
05-03 1434
文章目录特征值与特征值分解奇异值分解线性判别分析瑞利商广义瑞利商(Generalized Rayleigh Quotient) 特征值与特征值分解 特征值分解就是要求解Ax=λxAx=\lambda xAx=λx的问题，其中λ\lambdaλ 就是特征值，xxx就是特征向量。 现在有如下矩阵 A=[7238]A=\begin{bmatrix}7&2\\3&8\end{bmatrix}A=[73​28​] 可以把原问题变换成求解(A−λ)x=0(A-\lambda)x=0(A−λ)x=0， 由
Direct LDA and PCA+LDA：LDA、Direct LDA和PCA+LDA的实现。 有关详细信息，请参见描述。-matlab开发
05-30
这里还有一个使用特征分解的 PCA（主成分分析）和另一个使用 SVD 的实现。 输入 X : nt xn 其中 nt 个大小为 n 的特征向量示例y : 类别标签大小为 nt 的向量例如： X = [2 3 4 2; 8 2 3 4; 3 9 2 3; 8 4 2 3; 9 9 ...
LDA_PCA_SVD导论
12-14
线性判别分析（LDA）、主成分分析（PCA）和奇异值分解（SVD）是数据处理和机器学习领域中的重要技术。这三种方法在降维、特征提取和数据分析中发挥着关键作用。 线性判别分析（LDA）主要用于分类问题，尤其在高维...
PCA+SVD自己看的
12-20
PCA（主成分分析）和SVD（奇异值分解）是两种在数据分析和机器学习领域广泛应用的线性代数技术。PCA常用于数据预处理，通过转换原始数据来降低其维度，提取主要特征，同时减少噪声和冗余信息。SVD则是一种矩阵分解...
PCA SVD LDA区别
weixin_43758551的博客
06-26 418
https://www.jianshu.com/p/00be0f73d1f5 https://www.cnblogs.com/zhusleep/p/9508790.html https://blog.youkuaiyun.com/qq_24464989/article/details/79834564 https://blog.youkuaiyun.com/Dark_Scope/article/details/5315...
PCA_ICA_LDA详细介绍与比较
09-02
还在为PCA、ICA、LDA而烦恼吗，作为一个机器学习与模式识别方向的研究生，这三个术语困扰了我很久，自己在网上找了很多的资料，最后发现了这个超级棒的ppt，讲得很清楚明了。好资料当然要相互分享嘛，希望这个ppt同样对大家有所帮助。
PCA，LDA，SVD的定义与联系
cs24k1993的博客
04-19 1260
如果不降维，将导致 数据分布在一个极小的区域内。也叫维度灾难。比如说，球的体积是 v 正比于 R^3。在R/2的同心球，体积正比于(R/2)^3。同心小球是全球的体积八分之一。如果是多维球，球的大部分体积 分布在球表面内侧的“很薄”的一层，比如千/万维的话….所以要降维。不降维，高维特征没啥用，比如人脸识别…. PCA是无类别信息，不知道样本属于哪个类，用PCA，通常对全体数据操作。PCA的计...
偏差、方差、SVD、PCA、LDA
wanghai00的博客
03-02 832
偏差和方差的概念： 偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。 原文网址:https://www.zhihu.com/question/20448464SVD原文网址:http://www.cnblogs.com/LeftNotE
深度学习和自然语言处理的应用和脉络4-隐语义模型SVD，PLSA，LDA，LFM-推荐系统
changdejie的专栏
10-11 1022
隐语义模型LFM和LSI，LDA，Topic Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。这些技术一开始都是在文本挖掘领域中提出来的，近些年它们也被不断应用到其他领域中，并得到了不错的应用效果。比如，在推荐系统中它能够基于用户的行为对item进行自动聚类，也就是把item划分到不同类别/主题，这些主题/类别可以理解为用户的兴趣。
PCA,SVD,LDA分析
cui841923894的博客
09-11 1139
PCA：主成分分析，依据最大方差理论（信号处理中认为信号有较大方差，噪声有较小方差，信噪比就是信号和噪声的方差比，越大越好。因此对于n维转为k维后，每一维的样本方差都很大，认为这样转化最好），通过协方差矩阵特征分析，得出数据主成分和权值，然后除掉最小的特征值所对应的成分，那么所得的低纬度的数据必定最为优化（失去信息最少）。 SVD：奇异值分解，假设M是一个m×n阶矩阵，其中的元素全部属于域K，也...
关于LDA, pLSA, SVD, Word2Vec的一些看法
xbmatrix的博客
03-11 1757
参考:http://mp.weixin.qq.com/s?__biz=MzA4OTk5OTQzMg==&mid=2449231187&idx=1&sn=ecdb7cc4ddd8953bd0a48e8c14d8077a&mpshare=1&scene=1&srcid=0310tZN8SjNbDVd7f8cOFAEc#rd Topic Model (主题模型）这个东西如果从99年Hofman
用PCA、LDA、LR做人脸识别代码实现
Toby的博客
03-25 1164
'''机器学习-面部识别示例''' from sklearn.datasets import fetch_lfw_people from sklearn.decomposition import PCA from sklearn.discriminant_analysis import LinearDiscriminantAnalysis from sklearn.preprocessing ...
特征选择的3种方法
JanLEE
02-27 4814
当数据维数比较大时，就需要进行降维，特征选择是降维的一种主要方式，又包括3种方法：Filter、Wrapper和Enbedding。 1. Filter 过滤器方法，这种方法首先选定特征，再来进行学习。根据每一个属性的一些指标（如方差等），来确定这个属性的重要程度，然后对所有属性按照重要程度排序，从高到低的选择属性。选定了属性以后，再来进行训练。比如Fisher Score、Laplacian Score等。这种方法其实不大好，因为决定特征选择效果的不是单个的属性，而是属性的集合，比如属性A、B、C，单
数据处理：特征工程——特征选择（附代码）
最新发布
weixin_74268817的博客
11-04 2747
文章涉及多种特征选择方法，如多种假设检验、相关系数检验、方差检验、包装法和嵌入法等，便于我们选取合适的方法筛选有用的特征属性进行机器学习和数据分析。
深入理解LDA、PCA与SVD的数学原理
在探索数据降维和特征提取的领域，线性判别分析（LDA），主成分分析（PCA）和奇异值分解（SVD）是三种核心的数学方法。它们广泛应用于模式识别、统计分析、机器学习和信号处理等多个领域。本导论将对这些技术进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值