主成分分析——基于奇异值分解的数据降维方法

最新推荐文章于 2025-03-22 10:01:31 发布
最新推荐文章于 2025-03-22 10:01:31 发布
阅读量165 收藏
点赞数
文章标签： 机器学习-深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/code_program481/article/details/133171786
版权
本文介绍了主成分分析（PCA）作为数据降维的方法，其核心是奇异值分解（SVD）。PCA通过线性变换最大化方差，减少数据相关性，实现维度降低。文章详细讲解了SVD的数学原理，PCA的步骤，以及PCA在数据压缩、特征提取和数据可视化等领域的应用，并提供了源代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

主成分分析（Principal Component Analysis，简称PCA）是一种常用的数据降维方法，通过线性变换将原始数据映射到一个新的坐标系中，使得数据在新的坐标系下具有最大的方差。在这个新的坐标系下，数据之间的相关性减小，实现了对数据维度的降低。而PCA的核心数学原理则是基于奇异值分解（Singular Value Decomposition，简称SVD）。本文将详细介绍主成分分析的原理和应用，并提供相应的源代码。

一、奇异值分解（Singular Value Decomposition，SVD）

奇异值分解是线性代数中的一个重要概念，可以将一个矩阵分解为三个矩阵的乘积。设A是一个m×n的矩阵，那么它的奇异值分解可以表示为：

A = UΣV^T

其中，U是一个m×m的正交矩阵，Σ是一个m×n的对角矩阵，对角线上的元素称为奇异值，通常按照从大到小排列，V^T是一个n×n的正交矩阵的转置。

二、主成分分析的原理

主成分分析的目标是将原始的高维数据投影到一个新的低维空间中，以尽量保留原始数据的信息。具体步骤如下：

  1. 标准化数据：对原始数据进行标准化处理，使得各个特征具有相同的尺度。

  2. 计算协方差矩阵：计算标准化后的数据的协方差

了解本专栏 订阅专栏 解锁全文
【人工智能数学基础篇】——深入详解矩阵分解：奇异值分解（SVD）与主成分分析（PCA）在数据降维与特征提取中的应用
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
12-17 6245
深入详解矩阵分解：奇异值分解（SVD）与主成分分析（PCA）在数据降维与特征提取中的应用
特征挖掘三：主成分分析和奇异值分解
科研学习笔记！
04-21 416
主成分分析(Principal components analysis)和奇异值分解(Singular value decomposition)在探索性数据分析和建模阶段都是非常重要的方法。 当一组数据有很多变量(高维度数据)，而且变量直接不独立的时候，处理数据时会非常麻烦，常需要对原始数据进行降噪和降维处理。 ・主成分分析常用于解决用一个精简的变量集尽可能多地展示数据集的变异性这一统计问题。 ・奇异值分解常用于解决用一个低秩矩阵很好地表示原始数据这一数据压缩问题。 ...
【数学和算法】SVD奇异值分解原理、以及在PCA中的运用
u011754972的博客
10-18 2358
SVD奇异值分解
机器学习笔记之降维(五)从奇异值分解角度观察主成分分析
静静的学习就好
10-14 697
前面分别从最大投影方差和最小重构代价的角度介绍了主成分分析(Principal Component Analysis,PCA)。本节将介绍从奇异值分解(Singular Value Decomposition)的角度观察主成分分析。
主成分分析PCA与奇异值分解SVD
最新发布
lty1392309506的博客
03-22 712
奇异值分解（Singular Value Decomposition，简称 SVD）是线性代数中的一种基本工具，它将任意一个 (m * n) 矩阵 (A) 分解成三个简单矩阵的乘积，即(U) 的列向量称为，它们构成了（或）的一个正交基。对角线上的元素称为，且都是非负数。奇异值通常按从大到小排列，反映了矩阵 (A) 在各个方向上的拉伸或压缩程度。(V) 的列向量称为，它们构成了（或）的一个正交基。(V^T) 表示 (V) 的转置（或共轭转置）。
主成分分析与奇异值分解
hector_aries的博客
05-29 3237
主成分分析（Principal component analysis，PCA）由英国统计学家卡尔•皮尔逊于1901年提出。PCA是最经典和应用最广泛的以特征向量分析为基础的多元统计方法，在不同的应用领域中，又被称为奇异值分解、特征值分解、谱分解、Hotelling变换和离散Karhunen-Loeve变换等。 主成分分析通过正交相似性变换，将一组符合多元正态分布的具有多重共线性（图12-15）的变量转换为被称为主成分（PCs）的一组线性非相关的新变量的线性组合，从而起到揭示数据内部结构，以及简化数据维数的
奇异值分解（SVD）和主成分分析（PCA）
芦金宇的专栏
10-29 1万+
矩阵的奇异值是一个数学意义上的概念，一般是由奇异值分解（Singular Value Decomposition，简称SVD分解）得到。如果要问奇异值表示什么物理意义，那么就必须考虑在不同的实际工程应用中奇异值所对应的含义。 奇异值往往对应着矩阵中隐含的重要信息，且重要性和奇异值大小正相关。每个矩阵都可以表示为一系列秩为1的“小矩阵”之和，而奇异值则衡量了这些“小矩阵”对于的权重。奇异值
算法知识点——（4）降维
Lynqwest的博客
09-26 792
一、SVD奇异值分解 1. SVD概述 为什么先介绍SVD算法，因为在后面的PCA算法的实现用到了SVD算法。SVD算法不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。 　　在线性代数中我们学过矩阵（在这里的矩阵必须是n×nn×n的方阵）的特征分解，矩阵A和特征值、特征向量之间的关系如下 　　 将A矩阵做特征分解，特征向量QQ是一组...
图像处理——主成分分析PCA、奇异值分解SVD
fengye2two的专栏
01-20 1万+
感谢以下2位的渊博知识：（1）李春春：http://blog.youkuaiyun.com/zhongkelee/article/details/44064401（2）沈春旭： https://blog.youkuaiyun.com/shenziheng1/article/details/52916278一、PCA简介1. 相关背景      上完陈恩红老师的《机器学习与知识发现》和季海波老师的《矩阵代数》两门课之后，颇...
降维与压缩——奇异值分解（SVD）
Jayphone17的博客
01-29 4790
一、主成分分析（PCA）的局限性 二、特征值分解的几何意义 三、入手奇异值分解——Av = σμ 四、利用奇异值分解进行数据降维 1.列压缩数据降维 2.行压缩数据降维 3.矩阵整体进行数据压缩 五、利用python进行奇异值分解 ...
主成分分析PCA和矩阵的奇异值分解SVD
hahaxq的博客
04-21 1077
PCA和SVD   引言：在机器学习中，PCA主要是用于数据的降维，将高维的样本数据降维到低维保存，因为其在降维的过程中，综合了样本中各个特征的属性数据，所以降维后的样本数据仍然很好的保存了原始样本数据的信息，同时维度降低了（可以理解为，样本的属性减少，新的维度属性综合了之前所有样本的属性），且有利于数据的保存。另一方面，与PCA紧密相关的另一个算法叫做SVD，它不仅能够用于数据的降维还可以用于...
SVD、PCA小结
u013164528的专栏
04-26 2732
SVD的解法以及SVD与PCA之间的关系
SVD奇异值分解与PCA主成分分析
qq_35215756的博客
04-18 808
奇异值分解（singular value decomposition, SVD），将矩阵分解为奇异向量（singular vector）和奇异值（singular value）。PCA主成分分析
【机器学习】主成分分析（PCA）——利用奇异值分解（SVD）（理论+图解+公式推导）
优快云 精品推荐
08-15 4343
文章目录一、概述二、SVD奇异值分解1.Av=σuAv=\sigma uAv=σu 公式2.矩阵分解3.将结果进行降维3.1 行压缩数据降维3.2 列压缩数据降维3.3 矩阵整体压缩数据降维 欢迎回到机器学习编程系列。在这篇文章中，我们将讲解使用奇异值分解进行PCA降维处理。废话不多说，我们开始吧。 一、概述 之前讲了一种方法叫做特征值分解，它是将我们的协方差矩阵进行分解，但是这时会有一定的约束条件才可以进行分解 必须是方阵 能够被对角化 这两个要求是相对来说较高的，对于协方差矩阵是方阵，而且是
奇异值分解(SVD)与PCA(主成分分析)
weixin_43972621的博客
09-10 7755
奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统(稍后讲解)，以及自然语言处理等领域，是很多机器学习算法的基石。下面将从SVD的原理、SVD的推导、分析SVD与PCA之间的关系等进行讲解，一步步到最后的推荐系统。 一、SVD原理 1.1 SVD定义 若A是一个m*n的矩...
矩阵的特征值分解、奇异值分解及其在PCA主成分分析中的应用
weixin_42144636的博客
07-30 2255
主成分分析是通过一组变量的线性组合来解释这组变量的协方差矩阵里面的变异性信息的。以此来达到数据的压缩和根据原变量前前系数大小对数据进行解释。 在多元统计分析的学习中，我们通常用主成分分析进行自变量多重共线性问题的处理，进行变量的约减后还可利于数据的聚类分析。 简要谈谈主成分分析里面会用到的数学知识： 首先是特征值以及特征向量的几何意义： 1.     矩阵乘法 在介绍特征值与特征向量的几...
SVD与PCA，奇异值分解与主成分分析的比较
zhangdadadawei的博客
03-19 1万+
一般来说，想要获得低维的子空间，最简单的是对原始的高维空间进行线性变换（当然了，非线性也是可以的，如加入核函数，比较著名的就是KPCA）。SVD和PCA呢，都实现了降维与重构，但是呢，思路不太一样，老师课上提了一次，以前看的迷迷糊糊的，这次下定决心，怎么都要搞清楚这两个概念。
主成分分析（PCA）原理详解
热门推荐
Microstrong
06-09 66万+
“微信公众号”本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s/Xt1vLQfB20rTmtLjiLsmww本文同步更新在我的知乎专栏里面：主成分分析（PCA）原理详解 - Microstrong的文章 - 知乎https://zhuanlan.zhihu.com/p/377770741.相关背景在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观...
SVD奇异值分解PCA降维
03-17
### SVD 奇异值分解与 PCA 降维的关系 SVD 和 PCA 是两种密切相关的线性代数方法，在数据处理和机器学习领域有着广泛的应用。尽管它们的目标不同，但在某些情况下可以互换使用。 #### 关系 - **数学基础** PCA 可以通过 SVD 实现[^1]。具体来说，对于一个数据中心化的矩阵 \( X \)，其协方差矩阵可以通过 \( C = XX^T / (n-1) \) 计算得到。PCA 的目标是从协方差矩阵中提取最大方差的方向作为主成分。如果直接对协方差矩阵进行特征值分解，则会面临较大的计算开销；而通过对原始数据矩阵 \( X \) 进行 SVD 分解，可以直接获得主成分方向及其对应的奇异值平方根[^2]。 - **降维过程** 在实现 PCA 时，通常先利用 SVD 对输入数据矩阵进行分解，从而简化后续操作并提升效率。因此可以说，SVD 提供了一种高效的方式去完成 PCA 中的核心运算任务——寻找主要变化方向[^3]。 --- ### 区别 | 特性 | SVD | PCA | |--------------------|------------------------------|-----------------------------| | 定义 | 将任意实数值矩阵分解成三个独立部分：左奇异向量U、右奇异向量V以及中间的奇异值Σ组成的对角阵 | 寻找能够解释最多数据变异性的正交基底 | | 输入需求 | 不需要预处理 | 需要中心化(均值归零)的数据 | | 输出结果形式 | U,V,S | 主成分得分及对应载荷 | 虽然两者都涉及到了降低维度的概念,但是他们的出发点并不相同:SVD更关注于如何重构原矩阵;而PCA则专注于找到新的坐标轴使得投影之后的信息损失最小. --- ### 应用场景对比 #### SVD 的典型应用场景 - 文本挖掘中的潜在语义索引(LSI),用于发现文档集合内部隐藏的主题结构. - 推荐系统里用来预测用户可能感兴趣的商品列表. - 图像压缩等领域也有广泛应用实例存在. #### PCA 的常见用途 - 生物信息学研究基因表达谱分析过程中经常采用此法来识别关键变量.[^1] - 数据可视化方面特别适合把多维空间映射到二维平面上以便观察样本间关系模式. - 工程控制或者金融风险评估等方面也常借助它来进行噪声过滤或是异常检测等工作流程优化. ```python import numpy as np from sklearn.decomposition import PCA from scipy.linalg import svd # 构造随机数据集 np.random.seed(0) data = np.random.randn(100, 5) # 使用 SVD 方法手动实现 PCA u, s, vt = svd(data - data.mean(axis=0)) explained_variance_ratio_svd = (s ** 2) / np.sum((data.std(ddof=1)) ** 2 * (len(data)-1)) # 使用 scikit-learn 的 PCA 类库函数验证 pca = PCA() transformed_data_pca = pca.fit_transform(data) explained_variance_ratio_sklearn = pca.explained_variance_ratio_ print("Explained Variance Ratio via SVD:", explained_variance_ratio_svd[:2]) print("Explained Variance Ratio via Sklearn PCA:", explained_variance_ratio_sklearn[:2]) ``` 上述代码展示了如何分别运用 `scipy` 的 SVD 函数和 `sklearn` 的 PCA 模块执行相同的降维工作，并比较两者的输出一致性。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值