从PCA和SVD的关系拾遗

机器学习:对数据进行降维(PCA和SVD) 对数据进行降维(PCA和SVD) 阅读详情

从PCA和SVD的关系拾遗


最近突然看到一个问题,PCA和SVD有什么关系?隐约记得自己照猫画虎实现的时候PCA的时候明明用到了SVD啊,但SVD(奇异值分解)和PCA的(特征值分解)貌似差得相当远,由此钻下去搜集了一些资料,把我的一些收获总结一下,以免以后再忘记。

PCA的简单推导

PCA有两种通俗易懂的解释,1)是最大化投影后数据的方差(让数据更分散);2)是最小化投影造成的损失。这两个思路最后都能推导出同样的结果。
下图应该是对PCA第二种解释展示得最好的一张图片了(ref:svd,pca,relation)
此处输入图片的描述
图示的数据都已经去中心化了(中心点为原点),这一步操作可以简单地通过 xi=xi−x¯ 来达到,其中 x¯ 是样本的均值,为方便表示,后文的 x 都是去中心化后的结果。
可以看到PCA所谓的降维操作就是找到一个新的坐标系(旋转的两条直线式垂直的,我们可以用一组标准正交基{uj},j=1,...,n来指示),然后减掉其中一些维度,使误差足够小。
假设我们要找的投影方向是 uj ( uj 是单位向量,即 uTjuj=1 ) ,点 xi 在该方向上的投影就是 (xTiuj)uj ,减掉这个维度造成的误差为:

Jj=1m∑i=1m(xTiuj)2=1m(xTuj)2=1m(xTuj)T(xTuj)=1muTjxxTuj

将 1mxxT 记作 S ,假设我们要减去t个维度,则需要最小化
J=∑j=n−tnuTjSujs.t.uTjuj=1

此时使用拉格朗日乘子法使得

J~=∑j=n−tnuTjSuj+λj(1−uTjuj)

最小化上式子,求导有
δJ~δuj=Suj−λjuj

使其为0则得到
Suj=λjuj

这是标准的特征值的定义, λj 就是特征值, uj 是对应的特征向量,所以对 S 进行特征值分解就可求得解,将上式带回到原始的J中,可得
J=∑j=n−tnuTjSuj=∑j=n−tnuTjλjuj=∑j=n−tnλj

所以要使J最小,就去掉变换后维度中最小的t个特征值对应的维度就好了。
现在,我们再回过头看PCA的流程,就会发现一切都对应上了:

  1. 对数据去中心化
  2. 计算 XXT ,注:这里除或不除样本数量 M 或M−1其实对求出的特征向量没影响
  3. 对 XXT 进行特征分解
  4. 选取特征值最大的几个维度进行数据映射。(去掉较小的维度)

遗留问题

看到这有人要问了,我咋记得标准流程是计算矩阵的协方差矩阵呢?
我们来看协方差矩阵的计算公式:

Σ=E[(x−E[x])(x−E[x])⊤]

一开始我们的去中心化步骤其实就是计算了 (x−E[x]) ,然后 S=1mxxT 其实就是协方差矩阵,注意这里取的 1m ,实际操作中,应该是 1m−1 ,才是标准的协方差矩阵, 但这对最后找到的特征向量没有影响,对特征值之间的大小关系也没有影响。
所以到这一步标准的流程是( 为了实现方便,下面代码中的矩阵 X 与其实是上面推导中的XT,每一行是一个样本,同时从这里开始的推导使用与代码一致的表示方法):

def pca_01(X):
    covMat = np.cov(X,rowvar = 0)
    eigVal,eigVec = sp.linalg.eig(covMat)
    #do reduction with eigVal,eigVec

但因为最后用于变换的矩阵需要是去中心化后的,所以有些地方的实现是:

def pca_02(X):
    mean_ = np.mean(X, axis=0)
    X = X - mean_
    covMat = np.cov(X,rowvar = 0)#实际上是否去中心化对求到的协方差矩阵并无影响,只是方便后面进行降维
    eigVal,eigVec = sp.linalg.eig(covMat)
    #do reduction with eigVal,eigVec

使用矩阵乘法的方式:

def pca_03(X):
    mean_ = np.mean(X, axis=0)
    X = X - mean_
    M,N=X.shape
    Sigma=np.dot(X.transpose(),X)/(M-1)
    eigVal,eigVec = sp.linalg.eig(Sigma)
    #do reduction with eigVal,eigVec

这跟SVD有啥关系?

一开始说到隐约记得当时时间PCA的时候用到了SVD,但通过上面的推到我们发现需要的是特征值分解,这又是怎么回事呢?
首先来看SVD的解释:奇异值分解

X=UΣV∗,
其中U是m×m阶酉矩阵;Σ是m×n阶非负实数对角矩阵;而V*,即V的共轭转置,是n×n阶酉矩阵。这样的分解就称作X的奇异值分解

并且:

在矩阵M的奇异值分解中
X=UΣV∗,
1. V 的列(columns)组成一套对 X的正交”输入”或”分析”的基向量。这些向量是 XTX 的特征向量。
2. U 的列(columns)组成一套对 X的正交”输出”的基向量。这些向量是 XXT 的特征向量。
3. Σ 对角线上的元素是奇异值,可视为是在输入与输出间进行的标量的”膨胀控制”。这些是XXT及 XTX 的特征值的非零平方根,并与U和V的行向量相对应。

我们看到了熟悉的”特征向量”,还是 XTX 和 XXT 的,毫无疑问这个的结果能直接用于PCA降维。
上面这几句话都是可以推导出来的,在展开之前我们看两段代码,表示了SVD在PCA中两种不同用法:

def pca_04(X):
    mean_ = np.mean(X, axis=0)
    X = X - mean_
    M,N=X.shape
    Sigma=np.dot(X.transpose(),X) #这里直接去掉/(M-1)方便和pca_05比较,对求得特征向量无影响
    U,S,V = sp.linalg.svd(Sigma);
    eigVal,eigVec = S,U
    #do reduction with eigVal,eigVec

可以看到在pca_03的基础上我们把sp.linalg.eig改用了sp.linalg.svd,这涉及到:
结论1:协方差矩阵(或 XTX )的奇异值分解结果和特征值分解结果一致。


def pca_05(X):
    mean_ = np.mean(X, axis=0)
    X = X - mean_
    U, S, V = sp.linalg.svd(X)
    eigVal,eigVec = S,V
    #do reduction with eigVal,eigVec

我们直接使用了去中心化后的SVD分解结果用于PCA降维,也是正确的,因为:
结论2: V 的列(columns)组成一套对 X的正交”输入”或”分析”的基向量。这些向量是 XTX 的特征向量。


首先我们需要推导出结论2:

根据奇异值分解的定义:

X=UΣVT

则
XTX=VΣUTUΣVT=VΣ2VT=VΣ2V−1

Σ 是对角矩阵,U是标准正交基(酉矩阵),V是标准正交基( VVT=I;V=V−1 )
而又有 XTX 是一个对称的半正定矩阵,它可以通过特征值分解为( Λ 是对角化特征值, Q 是特征向量):
XTX=QΛQ−1

可以看到上下两个形式保持了一致,当限定了特征值的顺序后,这样的组合是唯一的,所以 结论2是成立的: V 是XTX的特征向量,奇异值和特征值是平方关系
V=QΛ=Σ2

奇异值和特征值的平方关系这个结论可以通过运行pca_04和pca_05验证:

PCA_04:
eigVal:[ 21.60311815 8.77188185]
eigVec: [[-0.88734696 -0.46110235]
[-0.46110235 0.88734696]]

PCA_05:
eigVal:[ 4.64791546 2.96173629]
eigVec: [[ 0.88734696 0.46110235]
[-0.46110235 0.88734696]]
#注意PCA_05结果中特征向量维度的符号,和上面不太一样,但这不影响降维的功能,每一列是一组基

对于结论一:

我们对 XTX 进行SVD分解(为了加以区分,下标为2):

XTX=U2Σ2VT2

由于SVD分解的性质中的第二条

  1. U 的列(columns)组成一套对 X的正交”输出”的基向量。这些向量是 XXT 的特征向量。

所以 U2 是矩阵 XTXXTX 的特征向量,而由:

XTXXTX=U2Σ2VT2(U2Σ2VT2)T=U2Σ22UT2

根据矩阵的特征值分解:
XTX=Q2Λ2Q−12XTXXTX=Q2Λ22Q−12

所以有:
U2=Q2Σ2=Λ2

能得到这样的结果是因为 XTX 本身是对称的半正定矩阵。

用SVD有啥好处?

很多地方对PCA的实现都是使用的SVD,这样做的优点有哪些呢?从这里看到一些解释
一来因为SVD没有计算 XTX 这一步,而矩阵中一些非常小的数容易在平方中丢失
二来在一些实现中,SVD的速度比特征值分解要快很多,充分地利用了协方差矩阵的性质。

PCA和SVD的应用

PCA是不必多说,一提到降维方法首先想到的就是PCA,关于降维方法后面可能还会找时间整理一些有意思的算法,我们可以看到对这些算法都有很intuitive的解释,搞懂是如何从intuition到公式再到计算步骤,是一个非常有意思的过程。如果只是停留在了解算法思想和流程,然后拿着库用一用,会丢掉很多有意思的东西。
除了常规的PCA,好像还有一些PCA的改进算法(从PRML的目录看起来^_^),等后面有时间研究一下一并奉上(如果有意思)。

SVD其实是众多矩阵分解的一种,除了在PCA上使用,也有用于推荐,在推荐领域的svd算法形式上并不能和标准的奇异值分解对应上,但其思路是相通的,具体可以参考协同过滤算法实现。同时SVD也可以很方便地算出矩阵的伪逆,这在最小二乘中有应用:

X−1=VΣ−1UT

总结

PCA有很好的直觉解释,一些可视化也很直观,所以往往忽视了其中的一些细节,深入地了解下来发现了很多有意思的东西,很有收获。笔者水平有限,如果文中有什么错误,还请告知,不甚感谢。

机器学习——降维算法PCA和SVD(sklearn) 与特征选择类似,我们可以用不同的特征提取技术来减少数据集的特征数量。特征选择和特征提取的区别在于,当我们用诸如 逆序选择之类的特征选择算法 时,数据集的原始特征 保持不变,而当我们用 特征提取 方法时,会将数据变换 或投影到 新特征空间。在降维的背景下,我们可以 把特征提取理解为 数据压缩的一种方法,其目的是保持大部分的相关信息。在实际应用中,特征提取 不仅可以优化存储空间 或 机器学习算法 的计算效率,而且还可以 通过减少 维数 提高预测性能,尤其是当我们 处理非正则化 模型的时候。 阅读详情

相关推荐

十分钟搞懂主成分分析PCA

文章目录几个疑问基本思路计算PCA的步骤与SVD的关系 几个疑问 PCA是干什么的? 首先有一组数据蓝色点,PCA所谓的降维操作就是找到一个新的坐标系(旋转的两条直线式垂直的,我们可以用一组标准正交基来指示),然后减掉其中一些维度,使误差足够小。 PCA与协方差矩阵的关系 PCA与SVD的关系 基本思路 假设我们有一个数据Xn∗mX_{n*m}Xn∗m​,其中n代表了特征的个数,m代表了...

上帝的筛子的博客 813

奇异值分解(SVD)与主成分分析(PCA)

奇异值分解(SVD)与主成分分析(PCA) 1 算法简介 奇异值分解(Singular Value Decomposition),简称SVD,是线性代数中矩阵分解的方法。假如有一个矩阵A,对它进行奇异值分解,可以得到三个矩阵相乘的形式,最左边为m维的正交矩阵,中间为m*n 的对角阵,右边为n维的正交矩阵: A=UΣVTA=U\Sigma V^{T}A=UΣVT 这三个矩阵的大小如下图所示: 矩阵...

伍六七的博客 2869

5、OpenClaw(龙虾助手)飞书机器人完整对接指南(2026最新版)

OpenClaw v2026.2.2+ 版本,防火墙内也能正常工作,是目前最稳定、最简单的企业内部AI助手部署方案。

欢迎光临~知1而N的博客 458

降维算法PCA和SVD

文章目录前言PCA和SVD1. 降维算法的实现1.1 降维的步骤表格2. PCA,SVD简单概述总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 PCA和SVD 在降维过程中,我们会减少特征的数量,这意味着删除数据,数据量变少则表示模型可以获取的信息会变少,模型的表现可能会因此受影响。同时,在高维数据中,必然有一些特征是不带有有效的信息的(比如噪音),或者有一些特征带有的信息和.

m0_50572604的博客 4107

Dify平台+Excel批量分析实战:5分钟搞定大模型数据处理(附完整代码)

本文详细介绍了如何利用Dify平台的数据集功能,结合Excel和Python脚本,快速构建大模型批量数据处理流水线。通过实战案例演示,读者可在5分钟内完成客户反馈情感分析、产品文案生成等任务,实现从原始数据到结构化洞察的高效转化,极大提升工作效率。

3a9bq4r8t2y的博客 319

切比雪夫(最小区域法)直线拟合算法

切比雪夫,最小区域法直线拟合

闪电彬彬的博客 3967

PCA、SVD

一、PCA:        principal component analysis        主成分分析 pic1.寻找主成分方向        PCA顾名思义,就是找出数据里最主要的方面,用数据里最主要的方面来代替原始数据。具体的,假如我们的数据集是n维的,共有m个数据。我们希望将这m个数据的维度从n维降到n'维,希望这m个n'维的数据集尽可能的代表原始数据集。我们知道数据从n维降...

zHalo的博客 1231

python-snap7 报错:can‘t find snap7 library. If installed, try running ldconfig

1、使用场景: Python 读取西门子 S7 系列 PLC 信息,会用到 snap7 库,网上也有很多案例。但是,运行时会报错:can't find snap7 library. If installed, try running ldconfig 2、解决方案: A、下载项目需要依赖的 dll、lib 文件: i、Sourceforge下载:https://sourceforge.net/projects/snap7/files/ ii、优快云下载(免费):https://dow.

蜡笔小新历险记的博客 3653

机器学习:PCA和SVD的关系

原博客地址:从PCA和SVD的关系拾遗 自己写的代码,可视化博客的理论观点:点这里

huakai16的博客 892

触摸延时灯课程设计

Multisim源文件下载: 实验名称:­­­­­­­­­­­­­­­­­­­ 课程设计1:触摸延时灯仿真设计 设计要求: 利用单稳态触发器设计触控延时灯,要求利用触发波形的边沿模拟触控点实现触发,触发后3秒灯亮,灯可以亮的时间可在5-10秒之间可调。 设计思路: 利用集成单稳态触发器CD4098设计简易的触摸延时灯电路。应用CD4098可以实现脉冲延时,原理图如下。4脚未触发信号输入端,可通过比较器对触摸产生的信号进行比较后再产生触发信号,使触发准确度得以提高。...

m0_54240221的博客 1万+

泰凌微8258入门教程——导读

基于泰凌微TLSR8258 Bluetooth® SIG Mesh 的入门系列教程

2万+

机器学习算法拾遗:(九)降维(SVD, PCA)

PCA   降维方法有很多,而且分为线性降维和非线性降维,本篇文章主要讲解线性降维。 1、奇异值分解(SVD) 2、主成分分析(PCA)    首先假设在低维空间存在这样一个超平面,将数据从高维映射到该超平面上会使得样本之间的方差最大(样本之间方差最大,也就意味着样本在映射到低维之后仍能较好的保留各样本之间的差异性。若映射后存在大量的样本重合,则映射后的样本中会存在大量无用的样本)假...

Jaykie 340

SNAP计算哨兵2号的LAI/FVC/FAPAR

SNAP的计算LAI方法是基于PROSAIL模型,集成的模块,很方便。首先要下载SNAP软件,下载步骤见。

所有专家都曾始于新手 2510

机器学习-----PCA与SVD

[机器学习笔记]奇异值分解SVD简介及其在推荐系统中的简单应用 从PCA和SVD的关系拾遗 PCA和SVD傻傻分不清楚? PCA原理以及为何要使用协方差矩阵-最大方差解释      ...

沧浪之水清兮 309

【软件系统架构】系列四:嵌入式技术

嵌入式系统是以应用为中心、以计算机技术为基础,并将可配置与可裁剪的软硬件集成于一体的专用计算机系统。它需要满足功能、可靠性、成本、体积、功耗等方面的严格要求。 嵌入式系统一般由以下组成部分构成:

moton2017的博客 1001

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

一文理解矩阵特征值、特征向量、矩阵分解、pca、svd的来龙去脉

1、如何理解矩阵特征值:https://www.zhihu.com/question/218748162、奇异值比特征值更能反应矩阵的特性吗:https://www.zhihu.com/question/499591303、特征值与特征向量:https://zhuanlan.zhihu.com/p/295178284、SVD:https://zhuanlan.zhihu.com/p/2580147...

weixin_33755557的博客 199

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

PCA

原文博客:点击打开链接,从PCA和SVD的关系拾遗:点击打开链接PCA主要用于特征降维,寻找最小均方意义下,最能代表原始数据的投影方法。典型应用就是人脸识别CA的缺点:PCA将所有的样本(特征向量集合)作为一个整体对待,去寻找一个均方误差最小意义下的最优线性映射投影,而忽略了类别属性,而它所忽略的投影方向有可能刚好包含了重要的可分性信息PCA的思想是将n维特征映射到k维上(k<n),这k维是...

爱学习的影峰的博客 1327

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

线性代数相关

线性代数

LiuSpark 499

有用的URL,大量的干货!!!!!!!!!!!!

这篇不算提供技术,笔者之前收藏了很多有用的学习资料URL,拿出来供大家共享!!!!!!!!! PythonTab:Python中文开发者社区门户 http://www.pythontab.com/ Python 零基础入门资料整理(更新版)Web开发酷勤网 http://www.kuqin.com/shuoit/20150415/345732.html?url_type=39&object_type=webpage&pos=1 从PCA和SVD的关系拾遗 - DarkScope从这里开始 -

leoking01的专栏 1161

FW:某人的简单易学机器学习算法系列 -- 挺不错!_拔剑-浆糊的传说_新浪博客...

http://blog.youkuaiyun.com/google19890102/article/list/2 简单易学的机器学习算法——线性支持向量机 一、线性支持向量机的概念 二、... 2014-06-28 16:27阅读(22)评论(0) 简单易学的机器学习算法——线性可分支持向量机 一、线性可分支持向量机的概念 二、线性可分支持向量机的原理....

拔剑—浆糊的传说 170

转载||Mikolajczyk 图像组免费下载,不用积分,感谢大佬

http://nsidc.org/data/search/#keywords=sea+ice/sortKeys=updated,desc/facetFilters=%257B%257D/pageNumber=1/itemsPerPage=25 遥感海冰数据下载。计算机视觉有哪些比较好的公开课?补充计算机视觉基础。VGG 数据 http://lear.inrialpes.fr/people/mikolajczyk/Database/ http://www.robots.ox.ac.uk/~vgg/

qq_36738025的博客 406

奇异值分解(SVD)与PCA(主成分分析)

奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统(稍后讲解),以及自然语言处理等领域,是很多机器学习算法的基石。下面将从SVD的原理、SVD的推导、分析SVD与PCA之间的关系等进行讲解,一步步到最后的推荐系统。 一、SVD原理 1.1 SVD定义 若A是一个m*n的矩...

weixin_43972621的博客 8025

PCA和SVD区别和联系

一、PCA: PCA(principal component analysis): 查找主方向的过程 PCA也叫主成分分析,是降维和去噪的一种重要方法。PCA选取包含信息量最多的方向对数据进行投影。其投影方向可以从最大化方差或者最小化投影误差两个角度理解。假设有矩阵X,每一行是一个d维样本,寻找投影方向以最大化投影方差: 其中是均值,为了简化公式,本文假设X已经进行...

sky的博客 4299
上一篇: 时间复杂度最小的最短路径算法?由这个想到的
下一篇: 维度打击,机器学习中的降维算法:ISOMAP & MDS
Dark_Scope
博客等级 码龄14年 3110粉丝 87原创
评论 21
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值