PCA和矩阵

最新推荐文章于 2023-12-31 17:09:34 发布
最新推荐文章于 2023-12-31 17:09:34 发布
阅读量1k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lv_tianxiaomiao/article/details/62045892
本文介绍了PCA（主成分分析）这一无监督数据处理方法的基本原理及其应用。通过将高维数据映射到低维空间来简化数据集，同时尽可能保留原始数据的方差特征。文章解释了如何选择合适的基矩阵A，并提供了深入理解矩阵操作的关键。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

PCA就是主成分分析，这是个无监督的数据处理过程


目的是把原有的数据降低到一个比较小的维度，便于后续的处理


整个过程的理论是：


原有m个样本，每个样本为n维向量，那么可组成一个n*m的矩阵S


找到一个矩阵A，将上面的样本矩阵映射到A中，假设A为k*n的矩阵


矩阵映射过程就是A矩阵左乘S矩阵得到矩阵E， 那么E为k*m的矩阵


如果k<<n的话，那么就成功的把n维向量映射到了k维向量中，这里的问题就是这个基矩阵A是如何找到的


主要使用的方法就是方差尽量大，而且还要不相关，所以既要使用方差又要使用协方差


贴一篇写的很好的博客：http://blog.codinglabs.org/articles/pca-tutorial.html


其实这里对矩阵的理解还是比较关键，有兴趣的同学可以看上面博客的内容


有两个矩阵很有用，协方差矩阵和拉普拉斯矩阵，有空再分析

PCA
Auzzer的博客
05-23 4558
R语言实现PCA一次来自男神MR.来的作业PCA简略分析 一次来自男神MR.来的作业 PCA #读取数据，数据名称为“PCA上机数据”，且对数据进行整理 setwd("/Users/auzzer_pang") data_PCA = read.table("PCA上机数据.txt") data = data_PCA[,1:7] names(data) = c('100','200','400','800','1500','3000','Marathon') row.names(data) = data_PC
矩阵的特征：主成分分析（PCA）
人邮异步社区
06-20 6617
我们先从主成分分析PCA开始看。在解释这个方法之前，我们先快速回顾一下什么是特征的降维。在机器学习领域中，我们要进行大量的特征工程，将物品的特征转换成计算机所能处理的各种数据。通常，如果我们增加物品的特征，就有可能提升机器学习的效果。可是，随着特征数量不断增加，特征向量的维数也会不断升高。这不仅会加大机器学习的难度，还会形成过拟合，影响最终的准确度。针对这种情形，我们需要过滤掉一些不重要的特征，或者是将某些相关的特征合并起来，最终达到在降低特征维数的同时，尽量保留原始数据所包含的信息。了解了这些背景信息，我
矩阵分解之：主成分分析（PCA）
qfikh的博客
01-16 2万+
本文是在参考主成分分析（PCA）原理详解的基础上 添加一些自己的理解。 1.相关背景 在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观测，收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息，但是也在一定程度上增加了数据采集的工作量。更重要的是在很多情形下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性。如果分别对每个指标进行分析，分析往往是孤立...
主成分分析逆变换_主成分分析(PCA)（转）
weixin_36243739的博客
12-31 1107
主成分分析(Principal Component Analysis，简称PCA)它是一种通用的降维工具。在我们处理高维数据的时候，为了能降低后续计算的复杂度，在“预处理”阶段通常要先对原始数据进行降维本质上讲，PCA就是将高维的数据通过线性变换投影到低维空间上去，但这个投影可不是随便投投，要遵循一个指导思想，那就是：找出最能够代表原始数据的投影方法。这里怎么理解这个思想呢？“最能代表原始数据”希...
PCA.rar_PCA降维 矩阵_pca矩阵降维_visualize pc matlab_快速pca_矩阵降维
09-24
这个过程可以通过特征向量矩阵和原始数据的乘法实现。 6. 可视化：在MATLAB中，可以利用二维或三维图来可视化主成分，帮助我们直观理解数据的分布和结构。例如，可以绘制PC1和PC2的散点图，观察样本在主成分空间中...
主成分分析PCA和矩阵的奇异值分解SVD
hahaxq的博客
04-21 1088
PCA和SVD   引言：在机器学习中，PCA主要是用于数据的降维，将高维的样本数据降维到低维保存，因为其在降维的过程中，综合了样本中各个特征的属性数据，所以降维后的样本数据仍然很好的保存了原始样本数据的信息，同时维度降低了（可以理解为，样本的属性减少，新的维度属性综合了之前所有样本的属性），且有利于数据的保存。另一方面，与PCA紧密相关的另一个算法叫做SVD，它不仅能够用于数据的降维还可以用于...
PCA求解输出投影矩阵_pca投影矩阵_K._leave5ss_pca降维_pca算法_
10-01
PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维...
pca.zip_pca_pca 矩阵_pca 矩阵 降维_矩阵降维_降维
09-24
在PCA中，"pca矩阵"是指经过特殊处理后的数据矩阵。首先，我们需要对原始数据进行中心化处理，即减去每个特征的均值，使得数据的均值为零。然后，计算数据的协方差矩阵或相关矩阵，这个矩阵反映了各个特征之间的线性...
快速 SVD 和 PCA：快速截断 SVD 和 PCA 矩形矩阵-matlab开发
06-01
与使用 Matlab svd 和 svds 函数处理矩形矩阵相比，截断奇异值分解 (SVD) 和主成分分析 (PCA) 快得多。 对于长矩阵或细矩阵，svdecon 是 svd(X,'econ') 的更快替代方法。 对于其中 k << size(X,1) 和 size(X,2...
机器学习 -- PCA(Principal Component Analysis)
LearningX的博客
11-27 1834
文章目录1. 什么是PCA？2. 为什么用PCA？3. PCA是如何工作的？4. PCA算法是怎样的？5. 如何重构经过PCA降维的数据？6. 如何选择主成分的个数？7. 总结8. sklearn中的PCA 1. 什么是PCA？ PCA全称Principal Component Analysis，主成分分析。顾名思义，就是从原始数据中提取主要的成分进行分析，忽略掉那些不重要的信息。取之精华，去其...
PCA（主成分分析）
zs_id的博客
12-31 6662
PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。∑是一个m∗n的矩阵，∑除了对角线其它元素都为0，对角线上的元素称为奇异值。VT是V的转置矩阵，是一个n∗n的矩阵，它里面的正交向量被称为右奇异值向量。通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值和特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。其中，Q是矩阵A的特征向量组成的矩阵，Σ则是一个对角阵，对角线上的元素就是特征值。
PCA algorithm原理及使用
Xyc19930930的博客
09-11 1577
PCA algorithm（Principal Components Analysis Algorithm）主成分分析算法适用于当样本中包含多个变量而变量之间强耦合时，将强耦合的变量综合成一个或几个变量，这样减少了样本的维度，以节约计算资源以及减少过拟合。 1. 关于PCA algorithm 这个PCA algorithm的原理就是用较少的变量来表示原来较多的变量，所以这些较少的变量里面蕴含
数据归约——主成分分析PCA
weixin_56631477的博客
11-12 2773
人们希望用较少的变量来代替原来较多的变量，这种代替可以反映原来多个变量的大部分信息，这实际上是一种“降维”的思想。一般要求所选主成分的方差总和占全部方差的80%以上，一般来说，主成分的累计方差贡献率达到80%以上的前几个主成分，都可以选作最后的主成分。（6）根据主成分分析模型和主成分载荷，可以得到主成分与原来变量之间的线性组合表达式。：如果第一个主成分不足以代表原来的变量，在考虑选择第二个主成分，依次类推。（3）确定主成分：特征值越大，则对应的特征向量表示的主成分的方差越大。
一目了然之 PCA SVD 协方差 相关系数及区分
herr_kun的博客
05-17 3047
一、数据降维技术 主要有三种：PCA（主成分分析法）、FA（因子分析法）、ICA（独立成分分析法），应用最广范、最广为人知的就是PCA方法，这里主要分析PCA方法。二、PCA 首先要知道的是PCA降维的原理和目的是什么？ 原理：最大化投影后数据的方差，表示为在某一维度的投影方差最大，如下图中当前位置不是投影方差最大的位置，因为好多点重合到了一起，因此在该维度我们就很难区分重叠的数...
主成分分析PCA算法(相关矩阵的特征值分解算法和数据矩阵的奇异值分解算法)
weixin_43646592的博客
04-19 4216
 主成分分析（Principal component analysis, PCA），常用的无监督学习方法。  它利用正交变换把由线性相关的变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。主成分个数常小于原始变量个数，so 是一种降维方法。  作用：  1.主要用于发现数据中的基本结构，即数据中变量之间的关系。  2.也会用在其他机器学习方法的前处理中。  下面主要讲解样本主成分分析的2种算法，对于样本主成分分析的定义与性质这里不作过多讲解。  1.相关矩阵的特征值分解算法
PCA 原理：为什么用协方差矩阵
热门推荐
LJRice的博客
05-12 3万+
PCA的理论知识以及与K-L变换的关系 PCA是主成分分析(Principal Components Analysis)的简称。这是一种数据降维技术，用于数据预处理。一般我们获取的原始数据维度都很高，那么我们可以运用PCA算法降低特征维度。这样不仅可以去除无用的噪声，还能减少很大的计算量。 K-L转换(Karhunen-Loève Transform)是建立在统计特性基础上的一种转换，它是均方...
协方差矩阵与主成分分析（PCA)
qq_40213457的博客
06-28 1万+
PCA的缘起PCA大概是198x年提出来的吧，简单的说，它是一种通用的降维工具。在我们处理高维数据的时候，为了能降低后续计算的复杂度，在“预处理”阶段通常要先对原始数据进行降维，而PCA就是干这个事的。本质上讲，PCA就是将高维的数据通过线性变换投影到低维空间上去，但这个投影可不是随便投投，要遵循一个指导思想，那就是：找出最能够代表原始数据的投影方法。这里怎么理解这个思想呢？“最能代表原始数据”希...
浅谈从PCA到PCANet
Anysky___的博客
04-02 9532
最近一直在看关于PCA有关的东西，PCA是最常用的线性子空间方法，常常用来进行特征提取，其本质是一个降维的过程，自从一篇文章《PCANet: A Simple Deep Learning Baseline for Image Classification》的发表，为大家提供新的研究思路。 一、主成分分析PCA 　　在谈PCA之前，先来看看协方差矩阵的内容。 　　在统计学的基本概念
PCA降维矩阵计算讲解
最新发布
03-26
好的，我现在需要回答用户关于PCA降维中矩阵计算原理的问题。用户希望了解相关的知识或教程，我需要结合提供的引用内容，特别是引用1、3、4中的...此代码实现了特征值排序、投影矩阵构建和数据投影的完整流程。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值