机器学习之PCA：主成分分析（一、算法原理）

最新推荐文章于 2025-04-09 23:28:36 发布
最新推荐文章于 2025-04-09 23:28:36 发布
阅读量1k 收藏 4
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qushuo123/article/details/107258981
版权
本文深入探讨了主成分分析(PCA)的原理与应用，详细解释了如何通过PCA将线性相关变量转换为线性无关的主成分，实现数据降维。通过实例演示PCA的具体计算过程，展示了降维后数据仍能保留大部分原始信息的特点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、PCA简介

二、PCA实例推导 

三、PCA的一般流程

四、PCA总结

一、PCA简介

主成分分析是一种常用的无监督学习方法。它利用正交变换，把由线性相关变量表示的观测数据转换成少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。由于主成分个数通常少于原始变量的个数，所以这一方法属于降维。

首先需要明确的是，线性无关的向量在空间中是相互垂直的，那么当我们确定一个降维后表示数据的向量的方向后，那么其他维度的方向也是比较明确了的，只需要在该向量的m个正交向量中选出k个线性无关的即可。也就是重新选择一组正交基（x1,x2,x3......xk）(k<m),当然这k个向量需要尽可能多的保留原原来数据的信息。

接下来我们确定向量的方向。我们要尽可能多的保留原来数据下信息，这样就需要原来数据在新确定的方向上的投影的分散程度越大越好，而有一个衡量数据分散程度的量我们很熟悉，那就是方差。

                                                                           \large s^{2}=\frac{\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}}{n-1}

方差越大，数据的分散程度越大。 

二、PCA实例推导 

我们以一组数据来实际讲解一

最低0.47元/天 解锁文章
Python机器学习实战：主成分分析(PCA)的原理和实战操作
AI天才研究院
08-05 1028
Python机器学习实战：主成分分析(PCA)的原理和实战操作 1.背景介绍 1.1 什么是主成分分析(PCA)？ 主成分分析（Principal Component Analysis，PCA）是一种常用的
机器学习主成分分析算法 PCA—python详细代码解析（sklearn）
qq_45932996的博客
10-12 3327
在进行数据分析时，我们常常会遇到这样的情况：各个特征变量之间存在较多的信息重叠，也就是相关性比较强。就好比在研究一个班级学生的学习情况时，可能会收集到学生的语文成绩、数学成绩、英语成绩等多个特征变量。但往往会发现，语文成绩好的学生，数学和英语成绩也可能比较好，这就说明这些变量之间存在一定的相关性。这种情况在线性回归分析中被称为多重共线性关系。同时，如果我们的样本观测值数量较少，而选取的变量却很多，就会产生高维数据带来的 “维度灾难” 问题。
机器学习——PCA主成分分析
weixin_62209973的博客
01-02 962
主成分分析（Principal Component Analysis，简称PCA）是一种常用的数据降维技术，用于发现数据中的主要特征。PCA的基本思想是将高维数据转换为低维数据，同时最大程度地保留原始数据的信息。它通过线性变换将原始数据投影到一个新的坐标系上，使得在新的坐标系下数据的方差最大。这些新的坐标轴被称为主成分，每个主成分都是原始数据的线性组合。PCA的应用包括降维、数据可视化、特征提取等。它可以帮助我们理解数据中的主要变化模式，并且在一定程度上减少数据的复杂性和存储空间。
机器学习经典算法之PCA主成分分析
Wenrui Xie的博客
08-05 2187
PCA主成分分析法简介 主成分分析算法（PCA）是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大（方差最大），以此使用较少的数据维度，同时保留住较多的原数据点的特性。 PCA降维的目的，就是为了在尽量保证“信息量不丢失”的情况下，对原始特征进行降维，也就是尽可能将原始特征往具有最大投影信息量的维度上进行投影。将原特征投影到这些维度上，使降维后信息量损失最小。 总而言之，PCA的概念很简单：减少数据集的维数，同时保留尽可能多的主要信息。
机器学习之PCA主成分分析详解
最新发布
zdx2585503940的博客
04-09 1928
将原始数据按列组成n行m列矩阵X将X的每一行（代表一个属性字段）进行零均值化（去平均值），即减去这一行的均值求出协方差矩阵 C= 1/mXXT求出协方差矩阵的特征值及对应的特征向量将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P（保留最大的k各特征向量）Y=PX 即为降维到K维后的数据PCA作为一种经典且强大的降维工具，在机器学习领域有着广泛的应用。理解其数学原理和实现细节，能够帮助我们在实际项目中更好地使用它。
PCA主成分分析【机器学习】
石旭先森的博客
05-06 374
参考视频: 吴恩达机器学习 14-3 PCA全称Principal Component Analysis，是数据挖掘中常用的一种降维算法，也用于无监督学习中。 所谓降维，就是把具有相关性的维度合并，用较少的维度取代原先较多的维度。如果原始向量两两正交，即没有相关性，则PCA也没有作用。 比如x是三维的，x=（年龄，学历，出生年份），我们要把它降维到二维，而年龄和出生年份很相似，所以把这两个合并，得到 z =（年龄，学历）。 直观的感受，这里要尽可能地保证降维后，数据的特性损失最小 问题.
机器学习--PCA主成分分析
qq_45906101的博客
11-19 651
机器学习--PCA主成分分析
机器学习之PCA主成分分析
AndyJ的学习之旅
08-10 652
PCA思想 PCA 将高维的数据通过线性变换投影到低维空间上去。 投影思想:找出最能够代表原始数据的投影方法。被 PCA 降掉的那些维度只能是那些噪声或是冗余的数据。 去冗余：去除可以被其他向量代表的线性相关向量,这部分信息量是多余的。 去噪声：去除较小特征值对应的特征向量,特征值的大小反映了变换后在特征向量方向上变换的幅度,幅度越大,说明这个方向上的元素差异也越大,要保留。 对⻆化矩阵：寻找极大线性无关组,保留较大的特征值,去除较小特征值,组成一个投影矩阵,对原始样本矩阵进行投影,得到降维后的新样本矩阵
matlab鸢尾花降维代码-PCA:主成分分析
06-19
鸢尾花数据集是机器学习领域经典的数据集之一，包含三种不同品种的鸢尾花测量特征，如花瓣长度、花瓣宽度、萼片长度和萼片宽度。 PCA的主要目的是通过线性变换将原始数据变换为一组各维度线性无关的表示，新坐标系...
机器学习主成分分析PCA算法的python实现
11-20
机器学习中的主成分分析（PCA）是一种常用的数据降维技术，它通过线性变换将数据投影到新的坐标系中，使得在新坐标系下的前几个坐标上数据的方差最大，从而达到减少数据维度的目的。PCA算法的核心思想在于寻找数据...
【机器学习】PCA - 主成分分析
weixin_44211968的博客
07-13 419
本文简单介绍了PCA的思想
PCA主成分分析算法实现
06-24
PCA是主成分分析，用于数据降维。
PCA详解
qq_36575363的博客
10-07 2291
1.相关背景 在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观测，收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息，但是也在一定程度上增加了数据采集的工作量。更重要的是在很多情形下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性。如果分别对每个指标进行分析，分析往往是孤立的，不能完全利用数据中的信息，因此盲目减少指标会损失很多有用的信息，从而产生错误的结论。 因此需要找到一种合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收
PCA 主成分分析算法
hawk2014bj的博客
11-25 440
PCA 主成分分析，能对多维数据分析进行降维，从而可以将数据展示在二、三维坐标轴上。
PCA(主成分分析)算法
weixin_30787531的博客
07-06 153
设有\(m\)个指标，\(n\)个样本的原始数据 将原始数据按列组成矩阵 \(X _ { n \times m }\) 将\(X\) 的每一列进行中心化 求\(X\)的协方差矩阵\(\Sigma _ { X } = \frac { 1 } { n - 1 } X ^ { T } X\) 求出 \(\Sigma _ { X }\) 的特征值及对应的特征向 将特征值按照从大到小构成对角矩阵\(\La...
主成分分析法PCA（一）：算法原理
On the road to profession
03-30 4820
一：算法概述： 主成分分析法，principle component analysis，PCA。也称主分量分析，是一种大样本，多变量数据间内在关系的一种方法。这种方法利用降维的思想，通过向量变换的方法将众多线性相关指标转换成少数线性无关的综合指标，从而切断相关的干扰，指出主导成分，作出更准确的估量。 PCA在几何上表现为：将原坐标变换成新正交坐标系，使之指向样本点散步最开的p个正交方向。 在...
机器学习--PCA（主成分分析）原理及应用
wenqiwenqi123的博客
03-12 9092
众所周知PCA是有效的降维方法，当你的特征非常多维度非常大的时候，为了使机器学习的算法在计算或是训练的时候有更高的效率，通常会进行降维处理。 将一个具有m个数据n维的数据降为k维的数据，方法如下： 算出一个sigma矩阵，x（i）为n*1的矩阵，因此x(i)转置为1*n，因此sigma的形状为n*n。 svd为奇异值分解函数，得到一个U矩阵，也为n*n矩阵。 取U矩阵的前k列，与x相乘
主成分分析（PCA）原理总结
小白学视觉
11-29 966
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达主成分分析（Principal components analysis，以下简称PCA）是最常用的降维方法之一，在数据...
PCA： Principal Components Analysis，主成分分析法原理
IT届的小学生
11-07 2340
PCA： Principal Components Analysis，主成分分析法原理 1、引入　　PCA算法是无监督学习专门用来对高维数据进行降维而设计，通过将高维数据降维后得到的低维数能加快模型的训练速度，并且低维度的特征具有更好的可视化性质。另外，数据的降维会导致一定的信息损失，通常我们可以设置一个损失阀值来控制信息的损失。　　设原始样本集为：，即样本数为m个，每个样例有n个特征维度。2、预
斯坦福机器学习课程笔记：主成分分析PCA与应用
"主成分分析算法-海伦司招股书概览：年轻人的小酒馆，奔赴百城千店" 本文将详细探讨主成分分析（Principal Component Analysis, PCA）算法，这是一种在机器学习和数据分析中广泛使用的统计方法。PCA的主要目的是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值