特征挖掘三：主成分分析和奇异值分解

最新推荐文章于 2023-12-26 01:53:33 发布
最新推荐文章于 2023-12-26 01:53:33 发布
阅读量411 收藏 1
点赞数
分类专栏： Machine & Deep Learning Data Mining 文章标签： 机器学习 数据挖掘 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiangyong58/article/details/115862059
版权
主成分分析(PCA)和奇异值分解(SVD)是数据分析和机器学习中处理高维度数据的重要工具。PCA常用于降噪和精简变量集以展示数据变异性，而SVD则用于数据压缩，通过低秩矩阵表示原始数据。两者在探索性数据分析和建模阶段发挥关键作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

主成分分析(Principal components analysis)和奇异值分解(Singular value decomposition)在探索性数据分析和建模阶段都是非常重要的方法。
当一组数据有很多变量(高维度数据)，而且变量直接不独立的时候，处理数据时会非常麻烦，常需要对原始数据进行降噪和降维处理。
・主成分分析常用于解决用一个精简的变量集尽可能多地展示数据集的变异性这一统计问题。

・奇异值分解常用于解决用一个低秩矩阵很好地表示原始数据这一数据压缩问题。

 

参考1：https://www.jianshu.com/p/e98bf6cf4823    数据科学15： 探索性数据分析-主成分分析和奇异值分解

参考2：https://www.cnblogs.com/pinard/p/6251584.html    奇异值分解(SVD)原理与在降维中的应用

参考3： 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【人工智能数学基础篇】——深入详解矩阵分解：奇异值分解（SVD）与主成分分析（PCA）在数据降维与特征提取中的应用
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
12-17 6196
深入详解矩阵分解：奇异值分解（SVD）与主成分分析（PCA）在数据降维与特征提取中的应用
矩阵的特征值分解、奇异值分解及其在PCA主成分分析中的应用
weixin_42144636的博客
07-30 2251
主成分分析是通过一组变量的线性组合来解释这组变量的协方差矩阵里面的变异性信息的。以此来达到数据的压缩和根据原变量前前系数大小对数据进行解释。 在多元统计分析的学习中，我们通常用主成分分析进行自变量多重共线性问题的处理，进行变量的约减后还可利于数据的聚类分析。 简要谈谈主成分分析里面会用到的数学知识： 首先是特征值以及特征向量的几何意义： 1.     矩阵乘法 在介绍特征值与特征向量的几...
奇异值分解 VS 主成分分析
诚朴求食
05-04 1213
主成分分析（PCA）的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。一般我们会用特征值分解去解释PCA。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵...
PCA 主成分分析 奇异值分解
yangyangyang20092010的专栏
01-05 3763
奇异值与主成分分析（PCA） 【转载】原文出处：http://blog.sina.com.cn/s/blog_4b16455701016ada.html   PCA的问题其实是一个基的变换，使得变换后的数据有着最大的方差。方差的大小描述的是一个变量的信息量，我们在讲一个东西的稳定性的时候，往往说要减小方差，如果一个模型的方差很大，那就说明模型不稳定了。但是对于我们用于机器学习的数据（主要
机器学习入门：吴恩达机器学习（第八周）主成分分析法—对于奇异值分解（SVD）与PCA的思考（一）
wzn19930319的博客
08-11 511
吴恩达机器学习（第八周）主成分分析法—对于SVD与PCA的思考 相信很多基础薄弱的小伙伴在看了Ng男神的PCA章节时，对于奇异值分解（svd）一头雾水，更不清楚svd与主成分分析（PCA）有什么关联，是怎么做到降维的呢？ 这里我就一步一步告诉大家 1.协方差矩阵 Ng使用如下协方差矩阵作为svd的输出： 那么协方差矩阵是什么呢？ 通常，在提到协方差的时候，需要对其进一步...
奇异值分解(SVD)与主成分分析(PCA)
伍六七的博客
11-30 2696
奇异值分解(SVD)与主成分分析(PCA) 1 算法简介 奇异值分解（Singular Value Decomposition），简称SVD，是线性代数中矩阵分解的方法。假如有一个矩阵A，对它进行奇异值分解，可以得到三个矩阵相乘的形式，最左边为m维的正交矩阵，中间为m*n 的对角阵，右边为n维的正交矩阵： A=UΣVTA=U\Sigma V^{T}A=UΣVT 这三个矩阵的大小如下图所示： 矩阵...
奇异值分解（SVD）与 主成分分析（PCA）
weixin_44885334的博客
04-26 1113
线性映射 线性映射同构于矩阵乘。线性空间的一组基α=(α1,⋯ ,αn)\alpha=(\alpha_1, \cdots, \alpha_n)α=(α1​,⋯,αn​)，一个点的坐标为x=(x1,⋯ ,xn)x=(x_1,\cdots,x_n)x=(x1​,⋯,xn​)，那么点可以记做两者内积α⋅x=∑i=1nxiαi\alpha \cdot x = \sum_{i=1}^{n} x_i\alpha_iα⋅x=∑i=1n​xi​αi​。注意，基不一定是向量，可以是任何线性无关的对象（比如，三角函数）。 线性
线性代数应该这样讲-四--奇异值分解与主成分分析.rar
10-18
在本资源"线性代数应该这样讲-四--奇异值分解与主成分分析.rar"中，我们将深入探讨两种重要的线性代数概念：奇异值分解（Singular Value Decomposition, SVD）和主成分分析（Principal Component Analysis, PCA）。...
【机器学习】 奇异值分解 （SVD） 和主成分分析 （PCA）
gongdiwudu的专栏
07-27 5622
在机器学习 （ML） 中，一些最重要的线性代数概念是奇异值分解 （SVD） 和主成分分析 （PCA）。收集到所有原始数据后，我们如何发现结构？
奇异值分解与主成分分析：两种降维方法的比较
最新发布
AI天才研究院
12-26 896
1.背景介绍 随着数据量的不断增加，高维数据的处理和分析变得越来越困难。降维技术成为了处理高维数据的重要方法之一，它可以将高维数据映射到低维空间，从而减少数据的维度并保留其主要特征。奇异值分解(Singular Value Decomposition, SVD)和主成分分析(Principal Component Analysis, PCA)是两种常用的降维方法，它们都具有较强的降维能力，但在应...
数据降维 | 奇异值分解(SVD) 、推荐系统、图像压缩
Data Hero
04-14 1462
01 PCA.改 在上一篇文章中，我们学习并实践了一种主流的数据降维算法——主成分分析(PCA)。 我们再来回顾一下PCA的优缺点： 优点：降低数据复杂性，识别最重要的多个特征 缺点：PCA需要将所有数据集放入内存，若数据集较大，内存处理效率低，此时需要使用其他方法来寻找特征值 基于PCA算法在处理大数据集时内存处理效率较低的缺点，出现了一种更加高效的降维算法——奇异值分解(SVD)，本文简...
奇异值分解(SVD)和主成分分析(PCA)（讲解很清楚明了）
飘过的春风
05-03 5256
奇异值分解(SVD)原文链接：http://www.cnblogs.com/pinard/p/6251584.html主成分分析(PCA)原文链接：http://www.cnblogs.com/pinard/p/6239403.html
【机器学习算法】奇异值分解(SVD)
Yann的博客
07-17 3633
SVD分解的原理及其在图像处理中的应用
【机器学习】主成分分析（PCA）——利用奇异值分解（SVD）（理论+图解+公式推导）
优快云 精品推荐
08-15 4317
文章目录一、概述二、SVD奇异值分解1.Av=σuAv=\sigma uAv=σu 公式2.矩阵分解3.将结果进行降维3.1 行压缩数据降维3.2 列压缩数据降维3.3 矩阵整体压缩数据降维 欢迎回到机器学习编程系列。在这篇文章中，我们将讲解使用奇异值分解进行PCA降维处理。废话不多说，我们开始吧。 一、概述 之前讲了一种方法叫做特征值分解，它是将我们的协方差矩阵进行分解，但是这时会有一定的约束条件才可以进行分解 必须是方阵 能够被对角化 这两个要求是相对来说较高的，对于协方差矩阵是方阵，而且是
主成分分析与奇异值分解
hector_aries的博客
05-29 3235
主成分分析（Principal component analysis，PCA）由英国统计学家卡尔•皮尔逊于1901年提出。PCA是最经典和应用最广泛的以特征向量分析为基础的多元统计方法，在不同的应用领域中，又被称为奇异值分解、特征值分解、谱分解、Hotelling变换和离散Karhunen-Loeve变换等。 主成分分析通过正交相似性变换，将一组符合多元正态分布的具有多重共线性（图12-15）的变量转换为被称为主成分（PCs）的一组线性非相关的新变量的线性组合，从而起到揭示数据内部结构，以及简化数据维数的
主成分分析（PCA）与奇异值分解（SVD）
u011489887的专栏
12-06 1270
1.主成分分析（PCA） 基变换的矩阵表示 这里要注意的是，我们列举的例子中基是正交的（即内积为0，或直观说相互垂直），但可以成为一组基的唯一要求就是线性无关，非正交的基也是可以的。不过因为正交基有较好的性质，所以一般使用的基都是正交的。下面我们找一种简便的方式来表示基变换。还是拿上面的例子，想一下，将(3,2)变换为新基上的坐标，就是用(3,2)与第一个基做内积运算，作为第一个新的坐标分...
PCA(主成分分析) 和 SVD（奇异值分解）
羊老羊
11-01 2081
2021.10.31 强烈推荐： PCA：https://www.bilibili.com/video/BV1E5411E71z SVD: https://www.bilibili.com/video/BV16A411T7zX 本文大多数图均出自这个UP主：同济小旭学长，希望关注一下 参考文章： 方差：https://blog.youkuaiyun.com/wistonty11/article/details/121058645 用
主成分分析（PCA）与奇异值分解(SVD）
成都往右的博客
01-27 3232
下面会依次介绍PCA与SVD，旨在理解，不会涉及太多公式推导。
主元分析和奇异值分解
weixin_45606655的博客
02-12 367
主元分析和奇异值分解 主元分析或者主成分分析，即PCA（Principal Component Analysis）和奇异值分解，即SVD（Singular Value Decomposition）都是常用的对数据进行预处理进行降维的方法，通常我们认为样本的一个特征为一个维度，即特征向量中的维度，若样本的特征非常非常多，那么对于各种算法来说算起来都是很耗时耗内存的，这时就应该降维，同时要保持大部分原...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiangyong58

喝杯茶还能肝到天亮，共同进步

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值