主成分分析（PCA）和奇异值分解（S…

最新推荐文章于 2023-12-26 01:53:33 发布
原创 最新推荐文章于 2023-12-26 01:53:33 发布 · 722 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了两种常见的降维技术——主成分分析(PCA)和奇异值分解(SVD)，并详细阐述了它们的工作原理及具体步骤。PCA通过特征值分析最大化数据间的累积方差，而SVD则将数据集分解为三个矩阵。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

特征抽取的目标是根据原始的d个特征的组合形成k个新的特征，即将数据从d维空间映射到k维空间。在文本分析领域常用的降维方法是主成分分析（Principal Component Analysis, PCA）和奇异值分解（Singular ValueDecomposition， SVD）。
在下文的叙述中，将沿袭机器学习的常用符号，使用x表示一个列向量，它是样本x在d维空间中的点。而由n个样本构成的数据集可以表示为一个d×n的矩阵X
  • PCA
PCA背后的数学基础是特征值分析，即Σv=λv，v是特征向量，λ是特征值。PCA的目标是最大化数据间累积方差。

PCA的一般过程是：
去除平均值:means；
计算X的协方差矩阵Σ；
计算Σ的特征向量和特征值(特征向量用列向量v_d×1表示)；
将特征值从大到小排序；
保留最上面的k个特征向量（这k个特征向量保证了数据映射到特征值最大的特征向量的方向时，数据间的累积方差最大，数据映射到第二大的特征向量时，数据间的累积方差次之，且特征向量之间保持正交）构成的特征向量矩阵V_d×k；
将数据转换到上述k个特征向量构建的新空间中（V^T*X=A_k×n + means,A是一个k×n的矩阵）。

  • SVD
SVD将原始的数据集X分解成三个矩阵U，Σ和V^T:
X_d×n=U_d×dΣ_d×nV^T_n×n
其中是对角矩阵，对角元素成为奇异值，这些奇异值是矩阵X*X^T特征值的平方根。将奇异值从大到小排序后，若设定新空间的维度为k（kV^T_k×n和U_d×k。

【人工智能数学基础篇】——深入详解矩阵分解：奇异值分解（SVD）与主成分分析（PCA）在数据降维与特征提取中的应用
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
12-17 6358
深入详解矩阵分解：奇异值分解（SVD）与主成分分析（PCA）在数据降维与特征提取中的应用
主成分分析PCA算法(相关矩阵的特征值分解算法和数据矩阵的奇异值分解算法)
weixin_43646592的博客
04-19 4216
 主成分分析（Principal component analysis, PCA），常用的无监督学习方法。  它利用正交变换把由线性相关的变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。主成分个数常小于原始变量个数，so 是一种降维方法。  作用：  1.主要用于发现数据中的基本结构，即数据中变量之间的关系。  2.也会用在其他机器学习方法的前处理中。  下面主要讲解样本主成分分析的2种算法，对于样本主成分分析的定义与性质这里不作过多讲解。  1.相关矩阵的特征值分解算法
PCA(主成分分析) 和 SVD（奇异值分解）
羊老羊
11-01 2099
2021.10.31 强烈推荐： PCA：https://www.bilibili.com/video/BV1E5411E71z SVD: https://www.bilibili.com/video/BV16A411T7zX 本文大多数图均出自这个UP主：同济小旭学长，希望关注一下 参考文章： 方差：https://blog.youkuaiyun.com/wistonty11/article/details/121058645 用
主成分分析（PCA）与SVD奇异值分解
weixin_30480075的博客
07-29 259
主要参考：https://www.zhihu.com/question/38417101/answer/94338598 http://blog.jobbole.com/88208/ 先说下PCA的主要步骤：假设原始数据是10（行，样例数，y1-y10）*10（列，特征数x1-x10）的（10个样例，每样例对应10个特征）（1）、分别求各特征（列）的均值并对应减去所求均值。 （2）...
奇异值分解(SVD)与PCA(主成分分析)
weixin_43972621的博客
09-10 7783
奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统(稍后讲解)，以及自然语言处理等领域，是很多机器学习算法的基石。下面将从SVD的原理、SVD的推导、分析SVD与PCA之间的关系等进行讲解，一步步到最后的推荐系统。 一、SVD原理 1.1 SVD定义 若A是一个m*n的矩...
主成分分析（PCA）与奇异值分解（SVD）
u011489887的专栏
12-06 1303
1.主成分分析（PCA） 基变换的矩阵表示 这里要注意的是，我们列举的例子中基是正交的（即内积为0，或直观说相互垂直），但可以成为一组基的唯一要求就是线性无关，非正交的基也是可以的。不过因为正交基有较好的性质，所以一般使用的基都是正交的。下面我们找一种简便的方式来表示基变换。还是拿上面的例子，想一下，将(3,2)变换为新基上的坐标，就是用(3,2)与第一个基做内积运算，作为第一个新的坐标分...
机器学习——数据降维——主成分分析（PCA）和奇异值分解（SVD）
huangguohui_123的博客
04-18 8078
一、主成分分析（PCA） 主成分分析，Principal Component Analysis (PCA)，是现代数据分析的标准工具，它可以把庞大复杂的高维数据集，通过数学变换，转化成较低维度的数据集，并去除掉维度之间的相关性。 1、PCA原理 主成分分析的原理非常简单，概括来说就是选择包含信息量大的维度，去除信息量少的“干扰”维度。 注意：这边所谓的“维度”不是原始数据的某个特征，而是原...
主成分分析（PCA）原理详解
热门推荐
Microstrong
06-09 66万+
“微信公众号”本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s/Xt1vLQfB20rTmtLjiLsmww本文同步更新在我的知乎专栏里面：主成分分析（PCA）原理详解 - Microstrong的文章 - 知乎https://zhuanlan.zhihu.com/p/377770741.相关背景在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观...
降维 ---- 主成分分析 (PCA)、奇异值分解 (SVD)
qq_36835991的博客
09-26 696
降维 在机器学习或数据处理中，经常会碰到一些高维数据，而高维数据情形下经常出现样本稀疏、计算困难等问题，称之为“维度灾难”。 对于一个高维数据数 D={X1,X2,...,XN}D = \{X_1, X_2, ..., X_N\}D={X1​,X2​,...,XN​}，其中每条数据的对应维度为nnn，即Xi∈RnX_i\in R^{n}Xi​∈Rn。降维的目的是找到一个映射函数fff，使得DDD中...
PCA与奇异值分解的关系，奇异值降维网络原理
zpnkwxp2011的博客
04-16 511
实际中最好的做法是选择一个合适的，使得的协方差矩阵（covariance matrix）能够被对角化(diagonalized)。这是符合直观的因为这样子所有的covariance都被消除了（比如可能本来有很多noise）而留下的就是最能体现信息量的方差本身。具体的做法则是，注意到也是对称正定矩阵所以我们可以做特征值分解（eigen-decomposition）得到,其中是对角矩阵（对角元是特征...
奇异值分解（SVD）与PCA
zephyr_wang的博客
01-11 394
奇异值分解在数据降维中有较多的应用 1. 原理 参考文章：https://www.cnblogs.com/endlesscoding/p/10033527.html 2. python 计算 x=二维数组 ,svd_v,=np.linalg.svd(x,full_matrices=1,compute_uv=1) svd_v就是算出的奇异值。
整理总结：基于PCA降维的特征值分解与奇异值分解的比较
木叶生_白菜叶子的博客
10-20 281
文章内容以图片的形式展示
奇异值与主成分分析（PCA）
Hayden的博客
01-06 403
这篇文章内容主要来自于下面的博客，个人对其理解和整理下。 http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html   奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要特性。让机器学会抽取重要的特征，SV...
奇异值分解SVD与PCA
lilong117194的博客
11-20 1813
首先：奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。1. 奇异值与特征值基础知识特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。1.1 特征值如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式： Av=λvAv=\lambda v 这时候λ就被称为特征向量v对
主成分分析
weixin_39056447的博客
12-02 1251
主成分分析 Principal component analysis 1 基本思想 主成分分析就是把原来的多个指标转化成少数几个代表性较好的综合指标，这少数几个指标能够反映原来指标大部分的信息（85%以上），并且各个指标之间保持独立，避免出现重叠信息。主成分分析主要起着降维和简化数据结构的作用。 1.1 数学模型 p个维度来描述一个实际问题，那么N个样本的数学模型可以表示为： ...
奇异值分解与主成分分析：两种降维方法的比较
AI天才研究院
12-26 927
1.背景介绍 随着数据量的不断增加，高维数据的处理和分析变得越来越困难。降维技术成为了处理高维数据的重要方法之一，它可以将高维数据映射到低维空间，从而减少数据的维度并保留其主要特征。奇异值分解(Singular Value Decomposition, SVD)和主成分分析(Principal Component Analysis, PCA)是两种常用的降维方法，它们都具有较强的降维能力，但在应...
机器学习复习14-PCA和SVD
Xu_Wave
04-24 540
机器学习复习14-PCA和SVD
PCA（主成分分析）
小肥柴YD的博客
08-17 829
降维 主成分分析（PCA（Principal Component Analysis））
sparse-PCA（稀疏主成分分析）是什么？
weixin_34416649的博客
06-09 4186
    　　不多说，直接上干货！     　　复杂降维技术有spare-PCA和sparse coding。     　　最近在科研需要，感谢下面的博主。 Sparse PCA 稀疏主成分分析  ...
主成分分析（PCA）和奇异值分解（SVD） 分别是什么
最新发布
04-23
<think>嗯，用户问的是主成分分析（PCA）和奇异值分解（SVD）分别是什么。首先，我需要先回忆一下这两个概念的基本定义和它们在数据科学中的应用场景。 PCA是一种常用的降维技术，主要用于减少数据集的维度，同时保留尽可能多的信息。它的核心思想是通过线性变换将原始数据投影到方差最大的方向（即主成分）上。这样做的目的是为了去除数据之间的相关性，并且找到数据中最主要的特征。通常，PCA的实现步骤包括标准化数据、计算协方差矩阵、求特征值和特征向量，然后选择前k个最大的特征值对应的特征向量作为主成分，最后将数据转换到新的空间。 而SVD是一种矩阵分解方法，可以将任意矩阵分解为三个矩阵的乘积：U、Σ和V^T。其中，U和V是正交矩阵，Σ是对角矩阵，对角线上的元素称为奇异值。SVD在数据压缩、降维、推荐系统等领域有广泛应用。比如，在PCA中，实际上可以通过SVD来实现，因为协方差矩阵的特征分解可以转化为对数据矩阵的SVD分解，这在计算上更为高效，尤其是在处理高维数据时。 接下来，我需要考虑用户可能的背景和需求。用户可能正在学习机器学习或数据分析，需要理解这两个方法的区别和联系。他们可能想知道在什么情况下使用PCA，什么时候使用SVD，或者两者如何结合使用。此外，用户可能希望看到具体的代码示例，以便更好地理解它们的应用。 对于代码部分，我需要用Python展示如何使用PCA和SVD进行降维。比如，使用scikit-learn库中的PCA类，以及numpy的svd函数。同时，需要解释代码的每一步骤，确保用户能够理解参数设置和结果的意义。 在解释时，要强调PCA和SVD的关系，例如PCA可以通过SVD来实现，但两者的应用场景有所不同。PCA主要用于降维和特征提取，而SVD的应用更广泛，包括矩阵分解、数据压缩等。此外，SVD不需要计算协方差矩阵，因此在处理大规模数据时可能更高效。 最后，用户可能还想知道如何选择主成分的数量，或者如何处理非线性的数据，这时候可能需要提到其他方法如核PCA或t-SNE。但根据当前问题，我需要集中在PCA和SVD本身。 总结回答的结构：先分别介绍PCA和SVD，然后给出代码示例，解释代码，接着说明它们的联系和区别。最后提出相关问题，如比较其他降维方法、具体应用场景、数学原理等。</think>主成分分析（PCA）和奇异值分解（SVD）是两种重要的线性代数技术，在机器学习和数据分析中广泛应用。以下是详细解释和代码示例： --- ### **主成分分析（PCA）** **定义**：一种无监督降维方法，通过正交变换将原始特征转换为一组线性无关的主成分，目标是保留最大方差方向。 **代码实现（Python）**： ```python from sklearn.decomposition import PCA import numpy as np # 创建示例数据（4个样本，3个特征） X = np.array([[2.5, 2.4, 0.5], [0.5, 0.7, 0.3], [2.2, 2.9, 0.2], [1.9, 2.2, 0.1]]) # 初始化PCA，降维到2个主成分 pca = PCA(n_components=2) X_pca = pca.fit_transform(X) print("主成分方向:", pca.components_) print("降维后数据:\n", X_pca) ``` **代码解释**： - `PCA`类通过计算协方差矩阵的特征向量实现降维 - `n_components`指定保留的主成分数量 - `components_`属性输出主成分方向向量 - `fit_transform`返回降维后的数据矩阵 --- ### **奇异值分解（SVD）** **定义**：将任意实数矩阵分解为三个矩阵的乘积：$A = U \Sigma V^T$，其中$U$和$V$是正交矩阵，$\Sigma$是对角矩阵。 **代码实现（Python）**： ```python import numpy as np # 创建示例矩阵 A = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) # 执行SVD分解 U, S, Vt = np.linalg.svd(A) print("U矩阵:\n", U) print("奇异值:", S) print("V转置矩阵:\n", Vt) ``` **代码解释**： - `np.linalg.svd`返回三个分解矩阵 - $U$矩阵的列称为左奇异向量 - $S$是包含奇异值的一维数组（需转换为对角矩阵） - $Vt$是$V$矩阵的转置，其行是右奇异向量 --- ### **核心区别与联系** | 特性 | PCA | SVD | |---------------------|-------------------------|-------------------------| | 输入要求 | 需要协方差矩阵计算 | 可直接分解原始矩阵 | | 计算效率 | 高维数据计算成本高 | 更高效的数值稳定性 | | 应用场景 | 明确降维需求 | 通用矩阵分解 | | 数学关系 | PCA可通过SVD实现 | SVD是更基础的数学工具 | --- ### **实际应用中的选择建议** - 当需要明确的可解释性降维时选择PCA - 处理高维稀疏矩阵时优先使用SVD - 推荐系统等场景直接使用SVD分解 - 文本分析（LSA）通常结合SVD使用 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值