主成分分析PCA

原创 已于 2024-01-01 15:13:56 修改
· 851 阅读 · 12 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习

于 2024-01-01 15:10:43 首次发布

目录

一、PCA相关概念

1、什么是PCA？

2、特征维度约减的概念与目的

3、主成分分析的主要步骤

二、PCA的简单实现

1、导入库

2、选取一个二维数据

3、查看数据分布情况

4、中心化数据

5、求协方差矩阵

6、求特征值及特征向量

7、对特征值进行从大到小排序并取最大的n个特征值下标

8、最大的n个值对应的特征向量及低维数据的重构

9、输出原数据投影到选取的特征向量的值

三、总结

一、PCA相关概念

1、什么是PCA？

在数据集提供丰富信息的同时，数据之间也存在大量相关性从而会增加问题分析的复杂性。所以需要找到一种合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的。

由于各变量之间存在一定的相关关系，因此可以考虑进行特征维度约减，即将关系紧密的变量变成尽可能少的新变量（即降维），使这些新变量是两两不相关的，那么就可以用较少的综合指标分别代表存在于各个变量中的各类信息，以便找到需要的主成分特征。主成分分析（PCA）与因子分析就属于这类降维算法。

主成分分析（PCA）是一种常用的数据降维方法，可以将高维数据转换为低维空间，同时保留原始数据中最具代表性的信息。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。

2、特征维度约减的概念与目的

特征维度约减——将给定的n个样本（每个样本维度为p维）通过特征变换和映射矩阵高维空间映射到低维子空间

原始数据：X\in R^{p*1}

进行线性变化（与G^{T}\in R^{d*p}求内积）得到约减后的数据：Y\in R^{d}

目的：使机器学习算法在高位空间中表现更具鲁棒性，筛选出有价值的维度（有价值点位有限）

                可视化、高效存储和检索、噪声消除

3、主成分分析的主要步骤

对白数据进行线性拉伸S（得主成分1）和线性旋转R（得主成分2）得出特征向量

3.1求出所有值的均值，然后将所有案例都减去该均值

X-\bar{X}

中心化后均值都为0

3.2求样本的协方差矩阵

原数据的协方差为：

C=\begin{bmatrix} cov(x,x) &cov(x,y) \\ cov(x,y)& cov(y,y) \end{bmatrix}

=\frac{1}{n-1}\begin{bmatrix} x_{1} &x_{2} \\ y_{1}& y_{2} \end{bmatrix}\begin{bmatrix} x_{1} &y_{1} \\ x_{2} & y_{2} \end{bmatrix}=\frac{1}{n-1}DD^{T}

最低0.47元/天 解锁文章
1129S
关注
PCA：主成分分析法——降维求解
weixin_46052663的博客
05-21 1870
（1）、在主成分分析中，我们首先应保证所提取的前几个主成分的累计贡献率达到一个较高的水平（即变量降维后的信息量须保持在一个较高水平上），其次对这些被提取的主成分必须都能够给出符合实际背景和意义的解释（否则主成分将空有信息量而无实际含义）。（4）、 在综合评价函数中，各主成分的权数为其贡献率，它反映了该主成分包含原始数据的信息量占全部信息量的比重，这样确定权数是客观的、合理的，它克服了某些评价方法中认为确定权数的缺陷。%返回值s对应着式（26）中的Z矩阵,每一列都是对应变量的特征向量，t返回的是特征值。
主成分分析（PCA）降维
m0_62501000的博客
12-31 8142
在机器学习和数据分析领域，主成分分析（PCA）是一种常用的降维技术，旨在减少数据维度并保留主要信息。通过将高维数据映射到低维空间，PCA使得数据更易于可视化、理解和处理。本文将深入探讨PCA的原理、应用和实现。通过去除冗余信息，减少数据的维度，提高计算效率和模型训练速度。选择主成分相当于选择了原始特征中最具代表性的信息，有助于提取关键特征。PCA可以帮助去除数据中的噪音，提高模型的鲁棒性。PCA基于线性变换，可能无法很好地处理非线性关系。对异常值敏感，可能受到极端值的影响。
机器学习（8）——主成分分析
最新发布
jiaomongjun的博客
04-24 905
主成分分析（PCA，Principal Component Analysis）是一种常用的降维技术，旨在通过线性变换将数据转换到一个新的坐标系中，使得数据的方差最大化，从而提取出数据中的主要特征。它在数据预处理、降维、噪声去除和数据可视化等领域有广泛应用。PCA通过正交变换提取数据主要变化方向，是降维和特征提取的基石。理解其数学本质（特征分解）和局限性（线性假设）有助于在实际任务中合理应用。进阶方法（如核PCA）可解决非线性问题。
主成分分析法（PCA）
热门推荐
weixin_45142381的博客
10-03 3万+
主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA，下面我们就对PCA的原理做一个总结。
PCA(主成分分析方法)
YMilton的专栏
04-13 3万+
目录 1. 降维问题 2. 向量与基变换 2.1 内积与投影 2.2 基 2.3 基变换的矩阵 3.协方差矩阵及优化目标 3.1 方差 3.2协方差 3.3协方差矩阵 3.4协方差矩阵对角化 4. 算法与实例 4.1 PCA算法 4.2 实例 5. 讨论 PCA（Principal Component Analysis）是常用的数据分析方法。...
PCA主成分分析
A18650363735的博客
06-23 1709
现有样本如下可以明显看到x1和x2是相关的，它们之间存在信息冗余例如知道x1很大，那就知道x2也小不到哪去，这就是信息冗余。
主成分分析PCA降维，BP神经网络回归预测 PCA-BP回归预测模型 多元回归预测 - Matlab主成分分析PCA降维，B
10-07
主成分分析PCA降维，BP神经网络回归预测。PCA-BP回归预测模型。 多元回归预测 | Matlab主成分分析PCA降维，BP神经网络回归预测。PCA-BP回归预测模型 评价指标包括:MAE、RMSE和R2等，代码质量极高，方便学习和替换...
主成分分析PCA.rar_PCA IRIs_PCA 数据集_PCA主成分分析_主成分_主成分PCA分析
09-23
在“主成分分析PCA”压缩包中，可能包含的是PCA分析过程的代码、结果图示以及详细的解释文档，这些资源可以帮助我们深入了解PCA算法在实际问题中的应用。通过深入学习和实践这些材料，我们可以更好地掌握PCA的原理和...
人工智能机器学习-主成分分析PCA降维
09-17
人工智能机器学习-主成分分析PCA降维-MATLAB代码实现 主成分分析（PCA）是一种常用的数据降维技术，通过找到数据中方差最大的方向来实现数据的降维，同时保留数据的主要信息。PCA将原始数据转换为一组新的变量，称为...
机器学习算法之主成分分析法（PCA）
m0_64087341的博客
11-23 2568
主成分分析（PCA）是一种线性降维技术，旨在通过正交变换将高维数据投影到一个低维空间中，同时尽可能保留数据的主要信息。PCA通过找到数据中方差最大的方向（即主成分），将数据沿这些方向进行投影，从而实现降维。主成分分析（PCA）是一种强大的降维工具，通过线性变换将高维数据映射到低维空间，同时保留数据中的主要信息。在实际应用中，PCA不仅可以用于数据压缩和特征提取，还可以帮助我们更好地理解数据结构。希望通过本文的介绍和案例分析，能够让你对PCA有更深入的理解。
数据降维：主成分分析法（PCA）
weixin_53972936的博客
03-06 1万+
主成分分析是一种最常用的无监督降维方法，通过降维技术把多个变量化为少数几个主成分的统计分析方法。这些主成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量的某种线性组合。
PCA主成分分析（降维）
花开莫与流年错_的博客
03-31 2118
PCA大致过程
机器学习降维算法一：PCA(主成分分析算法)
weixin_30577801的博客
09-22 536
引言： 机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的或隐式的、线性的或非线性的。 目前大部分降维算法处理向量表达的数据，也有一些降维算法处理高...
python主成分分析_Python机器学习笔记：主成分分析（PCA）算法
weixin_39570530的博客
11-28 1932
一：引入问题首先看一个表格，下表是某些学生的语文，数学，物理，化学成绩统计：首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系，那么如何判断三个学生的优秀程度呢？首先我们一眼就能看出来，数学，物理，化学这三门课的成绩构成了这组数据的主成分（很显然，数学作为第一主成分，因为数据成绩拉的最开）。那么为什么我们能一眼看出来呢？当然是我们的坐标轴选对了！！下面，我们继续看一个表格，下...
机器学习中常用的降维方法-主成分分析法（PCA）
qq_37977007的博客
12-15 2735
机器学习的主成分分析
《机器学习》—— PCA降维
weixin_73504499的博客
09-05 2762
一、PCA降维简单介绍、二、python中实现PCA降维函数的介绍、三、代码实现、四、PCA降维的优缺点
降维算法之PCA(主成分分析)
SKIp121whats112的博客
02-08 5800
降维算法之PCA(主成分分析)
PCA（主成分分析）降维方法
qq_43363657的博客
01-09 1万+
一、降维 1）首先我们可以将数据以矩阵的形式表示出来，例如Xmxn，即m个数据样本，每个数据样本有n维度的特征（这个特征就是数字，n维特征就是n个数字表示了这个样本）。降维的目的就是减小n，比如降低维度到k（k<n）。 2）在二维上举例：我们用我们常用的坐标系，即（1，0）、（0，1）为基的坐标系，选取一组数据[ (-2，-2），（-1，-1）、（0，0）、（1，1）、（2，2）]，我们发现这组数据在坐标系上都处于一条直线上，就是y=x上。此时他的维度是二维的，但是我们把X、Y坐标轴逆时针旋转45度
主成分分析PCA方法详解
"主成分分析法案例讲解Ppt旨在解决多变量分析问题，通过主成分分析（PCA）方法降低数据维度并保留关键信息。" 主成分分析（PCA）是一种广泛应用的统计学方法，用于处理多变量数据分析中的复杂性和冗余。在实际问题...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值