PCA和SVD区别和联系

最新推荐文章于 2025-08-12 09:39:19 发布
原创 最新推荐文章于 2025-08-12 09:39:19 发布 · 2.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨PCA（主成分分析）和SVD（奇异值分解）的区别与联系。PCA寻找正交属性空间的主成分方向，保证样本点的最近重构性和最大可分性。SVD不仅可以获取主成分，还能用于计算矩阵的伪逆，且在数值稳定性上优于PCA。LSI（隐语义索引）常基于SVD进行降维。SVD在处理某些矩阵时，如Lauchli矩阵，能提供PCA可能丢失的精度。

参考：http://blog.youkuaiyun.com/wangjian1204/article/details/50642732

http://www.cnblogs.com/lzllovesyl/p/5243370.html

PCA

PCA

图1.寻找主成分方向

对于正交属性空间的样本点，如何用一个超平面（直线的高维推广）对所有样本进行恰当表达？

  1. 最近重构性：一样本点到这个超平面的距离都足够近
  2. 最大可分性：样本点在这个超平面上的投影尽可能分开




SVD

如果对矩阵M做奇异值矩阵分解（SVD分解）： 

M=USV⊤


区别与联系：

SVD另一个方向上的主成分

    SVD可以获取另一个方向上的主成分，而PCA只能获得单个方向上的主成分： 

1nXX⊤=1nU
最低0.47元/天 解锁文章
pca与svd的区别
2301_80338712的博客
04-21 918
SVD 是一种对任意形状矩阵 AA 的分解方法，将矩阵分解为三个矩阵的乘积：公式为。
PCA 和 SVD 的区别和联系
wendaocp的博客
06-13 789
基础 两者的基础都是 求解特征值、特征向量 矩阵对向量的乘法，其实是矩阵对此向量的旋转和拉伸。 如果矩阵对某个向量V只拉伸而不旋转，那么V就是该矩阵的eigenVector，拉伸比就是eigenValue. PCA 是对一个维度的分析，比如对features分析，可以实现特征降维。 SVD A=UΣVTA=U\Sigma V^TA=UΣVT 是对两个维度的分析。 比如矩阵的每行是产品，每列是用户，矩阵元素是评分。 可以使用SVD向用户做产品推荐。 ...
PCA与SVD的区别和联系
勤学如春起之苗，不见其增，日有所长
12-12 2027
因为之前在做PCA的时候，就直接用的SVD求解，以为SVD属于PCA的一部分，看了一下两篇博文，有一定收获。注意，左奇异向量和右奇异向量是针对数据X而言的： 注意到协方差矩阵的特点：实对称，且大小为 D * D，D为数据X的维度。 因此，当X每一行为一个样本，对应协方差矩阵为，X.T * X，需要求左奇异向量U，并且取其前k个，则压缩后的单个样本为 Uk.T*X 反之，求右奇异向量。 PCA：从最...
机器学习 pca和svd的区别与联系
厚积薄发的博客
12-24 692
pca 是对原数据的协方差矩阵进行特征值即对称矩阵的特征分解。 svd 是对原数据（原数据不一定是对称矩阵）进行特征值的分解。
Musk数据集 使用PCA和SVD方法进行特征提取 并报告获得的特征值以及特征向量结果
02-06
在此数据集上分别使用PCA和SVD方法进行特征提取，并报告获得的特征值以及特征向量结果，对数据属性进行分析，使用盒图分别对获得的最优属性进行分析和对比。 import pandas as pd import os from numpy import * ...
机器学习——降维算法PCA和SVD（sklearn）
CXDNW的博客
07-20 1885
与特征选择类似，我们可以用不同的特征提取技术来减少数据集的特征数量。特征选择和特征提取的区别在于，当我们用诸如 逆序选择之类的特征选择算法 时，数据集的原始特征 保持不变，而当我们用 特征提取 方法时，会将数据变换 或投影到 新特征空间。在降维的背景下，我们可以 把特征提取理解为 数据压缩的一种方法，其目的是保持大部分的相关信息。在实际应用中，特征提取 不仅可以优化存储空间 或 机器学习算法 的计算效率，而且还可以 通过减少 维数 提高预测性能，尤其是当我们 处理非正则化 模型的时候。
机器学习：对数据进行降维（PCA和SVD）
纸上得来终觉浅
09-06 2850
对数据进行降维（PCA和SVD）
奇异值分解(SVD)与PCA(主成分分析)
weixin_43972621的博客
09-10 7839
奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统(稍后讲解)，以及自然语言处理等领域，是很多机器学习算法的基石。下面将从SVD的原理、SVD的推导、分析SVD与PCA之间的关系等进行讲解，一步步到最后的推荐系统。 一、SVD原理 1.1 SVD定义 若A是一个m*n的矩...
机器学习：PCA和SVD的关系
huakai16的博客
01-06 843
原博客地址：从PCA和SVD的关系拾遗 自己写的代码，可视化博客的理论观点：点这里
降维方法PCA与SVD的联系与区别
weixin_30443895的博客
07-08 1104
在遇到维度灾难的时候，作为数据处理者们最先想到的降维方法一定是SVD(奇异值分解)和PCA(主成分分析)。 两者的原理在各种算法和机器学习的书籍中都有介绍，两者之间也有着某种千丝万缕的联系。本文在简单介绍PCA和SVD原理的基础上比较了两者的区别与联系，以及两者适用的场景和得到的效果。 一、SVD 1.1 特征值分解 在说奇异值分解之前，先说说特征值分解，特征值分解 \(A = PDP^{-1}\...
SVD与PCA的区别
m0_37957160的博客
07-03 2621
SVD与PCA区别 矩阵对向量的乘法，对应于该向量得旋转、伸缩。若对某向量只发生了伸缩而无旋转变化，则该向量是该矩阵的特征向量，伸缩比为特征值。 PCA用来用来提取一个场的主要信息（即对数据集的列数——特征进行主成分分析），而SVD一般用来分析两个场的相关关系。 PCA通过分解一个场的协方差矩阵（对特征），SVD是通过矩阵奇异值分解的方法分解两个场的协方差矩阵（特征、样本量）。 PCA可用于特征的压缩、降维（去噪），SVD能够对一般矩阵分解，可用于个性化推荐。同时也可以用于NLP中的...
PCA 和 SVD
suichen1的专栏
02-26 513
Quick Summary of PCA： 1. Organize data as an m*n matrix, where m is the number of measurement types and n is the number of samples 2.Subtract off the mean for each measurement type 3. Calculate the
PCA和SVD总结
mn_kw的博客
04-17 338
1. PCA用来提取一个场的主要信息（主成分分量），而SVD一般用来分析俩个场的相关关系。俩者在具体的实现方法上也有不同，SVD是通过矩阵奇异值分解的方法分解俩个长的协方差矩阵的，而PCA是通过分解一个场的协方差举证2. PCA可用于特征的压缩、降维；当然也能去噪等；如果将矩阵转置后再用PCA,相当于去除相关度过大的样本数据--但不常见；SVD能够对一般矩阵分解，并可用于个性化推荐内容。...
PCA与SVD实践
weixin_43827767的博客
10-04 375
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、PCA和SVD是什么？二、使用步骤1.引入库2.读入数据pca创造出新的特征，如果把新的特征加到原来的特征上模型会发生什么变化？总结 前言 常见的降维方法有 提示：以下是本篇文章正文内容，下面案例可供参考 一、PCA和SVD是什么？ SVD和主成分分析PCA都属于矩阵分解算法中的入门算法，都是通过分解特征矩阵来进行降维，PCA和SVD是两种不同的降维算法，但他们都遵从上面的过程来实现降维，只是两种算法中矩阵分解的方法不
PCA与SVD的联系与区别是什么？
最新发布
qq_43042024的博客
08-12 439
PCA的核心数学实现可视为SVD的协方差场景特例，即当对中心化数据矩阵进行奇异值分解时，其左奇异向量直接对应主成分方向（特征空间基轴），而奇异值的平方恰为协方差矩阵的特征值（表征各维度方差能量）。这种等价性使SVD成为求解PCA的数值稳定捷径，无需显式计算协方差矩阵（避免病态条件问题），直接通过数据矩阵分解一步获得主成分与能量分布。【SVD直接分解，PCA对协方差矩阵操作后分解】奇异值和特征向量存在关系，有λis2in−1λi​s2i​n−1。
奇异值分解(SVD)与主成分分析(PCA)
伍六七的博客
11-30 2780
奇异值分解(SVD)与主成分分析(PCA) 1 算法简介 奇异值分解（Singular Value Decomposition），简称SVD，是线性代数中矩阵分解的方法。假如有一个矩阵A，对它进行奇异值分解，可以得到三个矩阵相乘的形式，最左边为m维的正交矩阵，中间为m*n 的对角阵，右边为n维的正交矩阵： A=UΣVTA=U\Sigma V^{T}A=UΣVT 这三个矩阵的大小如下图所示： 矩阵...
解决方案：PCA跟SVD有什么不同
weixin_42504788的博客
10-01 657
解决方案：PCA跟SVD有什么不同
数据分析pca和svd
02-26
### 主成分分析 (PCA) 和 奇异值分解 (SVD) #### PCA 的工作原理及其应用 主成分分析是一种用于降维的技术，其目标是在保留尽可能多的信息的同时减少数据集的维度。通过计算协方差矩阵并找到最大化的方向向量（即主成分），可以实现这一点。每个主成分对应于原始变量的一个线性组合，并按照它们所解释的数据总变异的比例排序。 对于给定的数据集，`explained_variance_ratio_` 属性提供了各主成分对方差贡献的具体数值[^1]： ```python import numpy as np from sklearn.decomposition import PCA np.set_printoptions(precision=3, suppress=True) pca = PCA() # 计算 explained variance ratio... print(pca.explained_variance_ratio_) ``` 这种方法特别适用于可视化高维数据、去除噪声或作为其他机器学习模型之前的预处理步骤。 #### SVD 的工作机制及其用途 奇异值分解则提供了一种不同的视角来看待相同的问题——它不是直接寻找最佳投影轴，而是将输入矩阵 \( A \in R^{m\times n} \) 分解成三个部分：两个正交矩阵 U 和 V 转置以及中间对角阵 Σ 。其中Σ包含了所谓的“奇异值”，反映了原矩阵的重要程度；而U和V分别代表左奇异性向量与右奇异性向量。 这种技术同样能够帮助我们理解复杂结构化信息的本质特征[^3]。例如，在图像压缩场景下，可以通过截断较小的奇异值得到近似版本从而节省存储空间而不明显影响质量。 #### PCA 与 SVD 的对比 尽管两者都涉及到降低维度的概念，但存在一些关键差异: - **目的不同**: PCA旨在最大化样本间的距离度量标准下的离散度；相比之下,SVD关注的是重构误差最小化. - **适用范围各异**: 当仅需考虑单个表征时可选用前者; 若涉及多个关联表格，则后者更为合适. - **输出形式有所区别**: 经过PCA变换后的坐标系通常具有直观的意义（如第一主元往往指示着最重要的变化趋势）；然而经由SVD得到的结果可能缺乏类似的解释力除非进一步转换为特定上下文内的含义.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值