主成分分析——基于奇异值分解的数据降维方法

最新推荐文章于 2025-03-22 10:01:31 发布
最新推荐文章于 2025-03-22 10:01:31 发布
阅读量191 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 机器学习-深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/code_program481/article/details/133171786
本文介绍了主成分分析（PCA）作为数据降维的方法，其核心是奇异值分解（SVD）。PCA通过线性变换最大化方差，减少数据相关性，实现维度降低。文章详细讲解了SVD的数学原理，PCA的步骤，以及PCA在数据压缩、特征提取和数据可视化等领域的应用，并提供了源代码示例。

主成分分析（Principal Component Analysis，简称PCA）是一种常用的数据降维方法，通过线性变换将原始数据映射到一个新的坐标系中，使得数据在新的坐标系下具有最大的方差。在这个新的坐标系下，数据之间的相关性减小，实现了对数据维度的降低。而PCA的核心数学原理则是基于奇异值分解（Singular Value Decomposition，简称SVD）。本文将详细介绍主成分分析的原理和应用，并提供相应的源代码。

一、奇异值分解（Singular Value Decomposition，SVD）

奇异值分解是线性代数中的一个重要概念，可以将一个矩阵分解为三个矩阵的乘积。设A是一个m×n的矩阵，那么它的奇异值分解可以表示为：

A = UΣV^T

其中，U是一个m×m的正交矩阵，Σ是一个m×n的对角矩阵，对角线上的元素称为奇异值，通常按照从大到小排列，V^T是一个n×n的正交矩阵的转置。

二、主成分分析的原理

主成分分析的目标是将原始的高维数据投影到一个新的低维空间中，以尽量保留原始数据的信息。具体步骤如下：

  1. 标准化数据：对原始数据进行标准化处理，使得各个特征具有相同的尺度。

  2. 计算协方差矩阵：计算标准化后的数据的协方差矩阵。

  3. 奇异值分解：对协方差矩阵进行奇异值分解，得到特征向量矩阵和奇异值矩阵。

  4. 特征值选择：根据奇异值的大小选择保留的主成分个数。

  5. 降维变换：选取前k个特征向量构成投影矩阵，将原始数据映射到低维空间。

三、主成分分析的应用<

了解本专栏 订阅专栏 解锁全文
【人工智能数学基础篇】——深入详解矩阵分解：奇异值分解（SVD）与主成分分析（PCA）在数据降维与特征提取中的应用
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
12-17 6615
深入详解矩阵分解：奇异值分解（SVD）与主成分分析（PCA）在数据降维与特征提取中的应用
特征挖掘三：主成分分析和奇异值分解
科研学习笔记！
04-21 521
主成分分析(Principal components analysis)和奇异值分解(Singular value decomposition)在探索性数据分析和建模阶段都是非常重要的方法。 当一组数据有很多变量(高维度数据)，而且变量直接不独立的时候，处理数据时会非常麻烦，常需要对原始数据进行降噪和降维处理。 ・主成分分析常用于解决用一个精简的变量集尽可能多地展示数据集的变异性这一统计问题。 ・奇异值分解常用于解决用一个低秩矩阵很好地表示原始数据这一数据压缩问题。 ...
【数学和算法】SVD奇异值分解原理、以及在PCA中的运用
u011754972的博客
10-18 2453
SVD奇异值分解
机器学习笔记之降维(五)从奇异值分解角度观察主成分分析
静静的学习就好
10-14 714
前面分别从最大投影方差和最小重构代价的角度介绍了主成分分析(Principal Component Analysis,PCA)。本节将介绍从奇异值分解(Singular Value Decomposition)的角度观察主成分分析。
主成分分析与奇异值分解
hector_aries的博客
05-29 3308
主成分分析（Principal component analysis，PCA）由英国统计学家卡尔•皮尔逊于1901年提出。PCA是最经典和应用最广泛的以特征向量分析为基础的多元统计方法，在不同的应用领域中，又被称为奇异值分解、特征值分解、谱分解、Hotelling变换和离散Karhunen-Loeve变换等。 主成分分析通过正交相似性变换，将一组符合多元正态分布的具有多重共线性（图12-15）的变量转换为被称为主成分（PCs）的一组线性非相关的新变量的线性组合，从而起到揭示数据内部结构，以及简化数据维数的
奇异值分解（SVD）和主成分分析（PCA）
芦金宇的专栏
10-29 1万+
矩阵的奇异值是一个数学意义上的概念，一般是由奇异值分解（Singular Value Decomposition，简称SVD分解）得到。如果要问奇异值表示什么物理意义，那么就必须考虑在不同的实际工程应用中奇异值所对应的含义。 奇异值往往对应着矩阵中隐含的重要信息，且重要性和奇异值大小正相关。每个矩阵都可以表示为一系列秩为1的“小矩阵”之和，而奇异值则衡量了这些“小矩阵”对于的权重。奇异值
SVD奇异值分解与PCA主成分分析
qq_35215756的博客
04-18 998
奇异值分解（singular value decomposition, SVD），将矩阵分解为奇异向量（singular vector）和奇异值（singular value）。PCA主成分分析
降维与压缩——奇异值分解（SVD）
Jayphone17的博客
01-29 4915
一、主成分分析（PCA）的局限性 二、特征值分解的几何意义 三、入手奇异值分解——Av = σμ 四、利用奇异值分解进行数据降维 1.列压缩数据降维 2.行压缩数据降维 3.矩阵整体进行数据压缩 五、利用python进行奇异值分解 ...
机器学习-Sklearn（第三版）Day4 主成分分析PCA与奇异值分解SVD
weixin_43902376的博客
12-21 539
sklearn中降维算法都被包括在模块decomposition中，这个模块本质是一个矩阵分解模块。矩阵分解可以用在降维，深度学习，聚类分析，数据预处理，低纬度特征学习，推荐系统，大数据分析等领域。SVD和主成分分析PCA都属于矩阵分解算法中的入门算法，都是通过分解特征矩阵来进行降维PCA使用的信息量衡量指标，就是样本方差，又称可解释性方差，方差越大，特征所带的信息量越多。方差计算公式中为什么除数是n-1?这是为了得到样本方差的无偏估计。
主成分分析PCA和矩阵的奇异值分解SVD
hahaxq的博客
04-21 1146
PCA和SVD   引言：在机器学习中，PCA主要是用于数据的降维，将高维的样本数据降维到低维保存，因为其在降维的过程中，综合了样本中各个特征的属性数据，所以降维后的样本数据仍然很好的保存了原始样本数据的信息，同时维度降低了（可以理解为，样本的属性减少，新的维度属性综合了之前所有样本的属性），且有利于数据的保存。另一方面，与PCA紧密相关的另一个算法叫做SVD，它不仅能够用于数据的降维还可以用于...
SVD、PCA小结
u013164528的专栏
04-26 2754
SVD的解法以及SVD与PCA之间的关系
算法知识点——（4）降维
Lynqwest的博客
09-26 882
一、SVD奇异值分解 1. SVD概述 为什么先介绍SVD算法，因为在后面的PCA算法的实现用到了SVD算法。SVD算法不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。 　　在线性代数中我们学过矩阵（在这里的矩阵必须是n×nn×n的方阵）的特征分解，矩阵A和特征值、特征向量之间的关系如下 　　 将A矩阵做特征分解，特征向量QQ是一组...
主成分分析PCA与奇异值分解SVD
lty1392309506的博客
03-22 868
奇异值分解（Singular Value Decomposition，简称 SVD）是线性代数中的一种基本工具，它将任意一个 (m * n) 矩阵 (A) 分解成三个简单矩阵的乘积，即(U) 的列向量称为，它们构成了（或）的一个正交基。对角线上的元素称为，且都是非负数。奇异值通常按从大到小排列，反映了矩阵 (A) 在各个方向上的拉伸或压缩程度。(V) 的列向量称为，它们构成了（或）的一个正交基。(V^T) 表示 (V) 的转置（或共轭转置）。
【机器学习】主成分分析（PCA）——利用奇异值分解（SVD）（理论+图解+公式推导）
优快云 精品推荐
08-15 4500
文章目录一、概述二、SVD奇异值分解1.Av=σuAv=\sigma uAv=σu 公式2.矩阵分解3.将结果进行降维3.1 行压缩数据降维3.2 列压缩数据降维3.3 矩阵整体压缩数据降维 欢迎回到机器学习编程系列。在这篇文章中，我们将讲解使用奇异值分解进行PCA降维处理。废话不多说，我们开始吧。 一、概述 之前讲了一种方法叫做特征值分解，它是将我们的协方差矩阵进行分解，但是这时会有一定的约束条件才可以进行分解 必须是方阵 能够被对角化 这两个要求是相对来说较高的，对于协方差矩阵是方阵，而且是
奇异值分解(SVD)与PCA(主成分分析)
weixin_43972621的博客
09-10 7839
奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统(稍后讲解)，以及自然语言处理等领域，是很多机器学习算法的基石。下面将从SVD的原理、SVD的推导、分析SVD与PCA之间的关系等进行讲解，一步步到最后的推荐系统。 一、SVD原理 1.1 SVD定义 若A是一个m*n的矩...
矩阵的特征值分解、奇异值分解及其在PCA主成分分析中的应用
weixin_42144636的博客
07-30 2284
主成分分析是通过一组变量的线性组合来解释这组变量的协方差矩阵里面的变异性信息的。以此来达到数据的压缩和根据原变量前前系数大小对数据进行解释。 在多元统计分析的学习中，我们通常用主成分分析进行自变量多重共线性问题的处理，进行变量的约减后还可利于数据的聚类分析。 简要谈谈主成分分析里面会用到的数学知识： 首先是特征值以及特征向量的几何意义： 1.     矩阵乘法 在介绍特征值与特征向量的几...
通俗易懂的讲解奇异值分解(SVD)和主成分分析(PCA)
deephub
06-13 9008
图片来自Unsplash上的Dave 0.本教程包含以下内容 特征分解 对称矩阵的特征分解 奇异值分解（The Singular Value Decomposition，SVD） 主成分分析（Principal Component Analysis ，PCA）——特征提取 1.特征分解 首先，我们简单回顾下特征值和特征向量的定义。在几何学中，矩阵A的特征向量是指一个经过与矩阵A变换后方向保持不变的向量（其中，假设特征值均为实数）。而特征值为在这个变化中特征向量的比例因子。具体可...
主成分分析（PCA）与SVD奇异值分解
weixin_30480075的博客
07-29 271
主要参考：https://www.zhihu.com/question/38417101/answer/94338598 http://blog.jobbole.com/88208/ 先说下PCA的主要步骤：假设原始数据是10（行，样例数，y1-y10）*10（列，特征数x1-x10）的（10个样例，每样例对应10个特征）（1）、分别求各特征（列）的均值并对应减去所求均值。 （2）...
SVD与PCA，奇异值分解与主成分分析的比较
热门推荐
zhangdadadawei的博客
03-19 1万+
一般来说，想要获得低维的子空间，最简单的是对原始的高维空间进行线性变换（当然了，非线性也是可以的，如加入核函数，比较著名的就是KPCA）。SVD和PCA呢，都实现了降维与重构，但是呢，思路不太一样，老师课上提了一次，以前看的迷迷糊糊的，这次下定决心，怎么都要搞清楚这两个概念。
利用基于奇异值分解的主成分分析
最新发布
09-07
<think> 嗯，用户这次想了解基于奇异值分解的主成分分析的具体使用方法，结合之前提供的几个参考文献来看，用户应该是在学习数据降维技术。从引用内容看，用户可能已经知道PCA和SVD的基本概念关系（引用3明确指出PCA的核心是SVD），但需要实操指导。 注意到用户特别强调“使用方法”，说明更关注实施步骤而非理论推导。不过作为严谨的数学方法，还是需要简要交代原理背景。引用1里的公式$U= \mathcal H \mathcal X \cdot \mathcal V = \mathcal U \Sigma_{N\times p}$展示了数据矩阵经过SVD处理后的结果，这正是关键切入点——实际计算时我们正是通过这个关系得到主成分。 用户提供的引用4很实用，里面提到协方差矩阵特征向量与主成分的关系（2.3.2小节），还讨论了PCA的局限性，这些都应该融入回答。考虑到用户可能用Python实现，应该补充Scikit-learn的调用示例，这和引用3末尾提到的“提供源代码”需求一致。 上次回答快速排序时用了代码块，这次延续这种风格比较合适。需要强调几个技术细节：数据标准化不能跳过（用户容易忽略这点），SVD截断操作的选择依据（k的确定方法），以及结果的可解释性（引用2提到的特征提取意义）。 最后生成的问题要侧重应用层面：异常检测是个好方向（引用3未提及但很实用），深度学习结合则是进阶内容（呼应引用2的前沿性）。避免重复之前引用已覆盖的基础理论问题。 </think> 基于奇异值分解（SVD）的主成分分析（PCA）是一种高效的数据降维方法，其核心是通过SVD直接分解数据矩阵而非计算协方差矩阵。以下是具体使用步骤和原理说明： --- ### **一、核心步骤** #### **1. 数据标准化** 对原始数据矩阵 \(X_{m \times n}\)（\(m\)个样本，\(n\)个特征）进行中心化并缩放方差至1： $$ \tilde{X}_{ij} = \frac{X_{ij} - \mu_j}{\sigma_j} \quad (\mu_j为第j列均值, \sigma_j为标准差) $$ #### **2. 奇异值分解（SVD）** 对标准化后的矩阵 \(\tilde{X}\) 进行SVD分解： $$ \tilde{X} = U \Sigma V^T $$ - \(U_{m \times m}\)：左奇异向量矩阵（样本空间正交基） - \(\Sigma_{m \times n}\)：奇异值对角矩阵（降序排列\(\sigma_1 \geq \sigma_2 \geq \cdots\)） - \(V_{n \times n}\)：右奇异向量矩阵（特征空间正交基，即主成分方向） #### **3. 提取主成分** - **主成分方向**：\(V\) 的每一列对应一个主成分方向（\(V_k\) 为第\(k\)主成分） - **降维投影**：取前 \(k\) 个主成分（\(V_k\) 为 \(V\) 的前 \(k\) 列），将数据投影到低维空间： $$ Z_{m \times k} = \tilde{X} V_k $$ 其中 \(Z\) 是降维后的新特征矩阵。 #### **4. 确定降维维度 \(k\)** - **方差解释率**：计算累积贡献率，通常选择使累计贡献率 > 85% 的最小 \(k\)： $$ \text{累积贡献率} = \frac{\sum_{i=1}^k \sigma_i^2}{\sum_{i=1}^r \sigma_i^2} \quad (r=\text{rank}(\tilde{X})) $$ - **肘部法则**：绘制奇异值平方（特征值）的下降曲线，选择拐点。 --- ### **二、Python代码实现** ```python import numpy as np from sklearn.decomposition import PCA from sklearn.preprocessing import StandardScaler # 1. 数据标准化 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 2. 使用SVD实现PCA (svd_solver='auto'或'full') pca = PCA(n_components=k, svd_solver='auto') X_pca = pca.fit_transform(X_scaled) # 降维结果 # 输出主成分信息 print("主成分方向（特征向量）:\n", pca.components_) # 对应V_k^T print("奇异值平方（特征值）:", pca.explained_variance_) print("方差解释率:", pca.explained_variance_ratio_) ``` --- ### **三、关键原理说明** 1. **SVD与协方差矩阵的关系** 数据协方差矩阵 \(C = \frac{1}{n-1} \tilde{X}^T \tilde{X}\) 的特征向量即 \(V\)，特征值为 \(\frac{\sigma_i^2}{n-1}\)[^3][^4]： $$ C = V \left( \frac{\Sigma^2}{n-1} \right) V^T $$ SVD绕过了显式计算协方差矩阵，提升数值稳定性。 2. **投影的几何意义** 投影 \(Z = \tilde{X} V_k\) 是在方差最大的正交方向（主成分）上的坐标值，实现了数据去相关[^1][^3]。 3. **计算效率优势** 当特征维度 \(n \gg\) 样本量 \(m\) 时，SVD直接分解 \(m \times m\) 矩阵（而非 \(n \times n\) 协方差矩阵），大幅减少计算量[^4]。 --- ### **
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值