DS&ML_降维算法笔记之主成分分析PCA模型

最新推荐文章于 2025-06-16 16:39:41 发布
原创 最新推荐文章于 2025-06-16 16:39:41 发布 · 2.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #pca降维 #主成分分析 #无监督学习

本文是对主成分分析PCA的详细笔记，涵盖了PCA的基本思想、算法流程、应用场景及主成分的选择方法。PCA通过线性变换找到数据的最大方差方向，用于高维数据的降维，常用于分类、排名和解决多重共线性问题。

其他相关文章

DS&ML_关联分析笔记
DS&ML_分类算法笔记之支持自动机SVM模型
DS&ML_分类算法笔记之随机森林、梯度提升树、XGBoost模型
DS&ML_分类算法笔记之k-近邻、KD-Tree模型
DS&ML_分类算法笔记之朴素贝叶斯模型
DS&ML_聚类算法笔记之k-means模型
DS&ML_分类算法笔记之决策树模型
DS&ML_分类算法笔记之逻辑回归模型

对于主成分分析的相关知识点的总结与整理

简单描述一下PCA的思想，PCA是什么？

PCA是利用降维的思想，

最低0.47元/天 解锁文章

200万优质内容无限畅学
深度学习·理论篇(2023版)·第008篇实际应用中的PCA主成分分析：什么是主成分+特征向量特征值求解主成分+降维归一化与相关系数的概念+降维的手段+什么数据适合PCA
小李的研究生学习日记
02-15 526
第008篇实际应用中的PCA主成分分析：什么是主成分+特征向量特征值求解主成分+降维归一化与相关系数的概念+降维的手段+什么数据适合。既然高维度带来了如此多的灾难，一个很自然的想法就是降低维度，然后在低维度下解决问题。例如： x’=f(x)，如果x’相对于x是一个维度很低的向量，则相当于达到了降维的效果。关于降维，先举一个最简单的例子，即主成分分析（Principal Component Analysis,PCA)，考虑如下的协方差矩阵对应的高斯分布的样本，如图2-33所示。
主成分分析PCA以及特征值和特征向量的意义
热门推荐
Mr.horse的博客
11-17 8万+
定义： 主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。 简单解释： 具体的，假...
《多元统计分析》学习笔记之主成分分析
小山羊的学习日志
03-13 1万+
鄙人学习笔记 文章目录主成分分析主成分分析的基本原理总体主成分及其性质主成分主成分的性质相关问题讨论关于由协方差矩阵或相关矩阵出发求解主成分主成分分析不要求数据来自于正态总体主成分分析与重叠信息 主成分分析 主成分分析是利用降维的思想，在损失很少信息的前提下，把多个指标转化为几个综合指标的多元统计方法。 通常把转化生成的综合指标称为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间...
机器学习——主成分分析（PCA）
最新发布
lzl123668的博客
06-16 2322
第一个主成分 \(w_1\) 是使得投影方差最大的方向： \(\max_{||w||=1} \frac{1}{n} \sum_{i=1}^n (x_i^T w)^2 = \max_{||w||=1} w^T S w\) 通过拉格朗日乘数法求解，得到： \(S w = \lambda w\) 即 w 是协方差矩阵 S 的特征向量，对应的特征值 \(\lambda\) 是投影方差。主成分分析（Principal Component Analysis, PCA）是机器学习和数据分析中最基础且应用广泛的降维技术。
主成分分析(PCA)
weixin_33847182的博客
11-23 375
前言主成分分析是一种统计学方法，它主要通过降维来简化数据结构，将多个变量转化成少数的几个综合变量，而综合变量能很好地表达原来多个变量的大部分信息，变量之间需要要具备相关性，而经过分析后的变量之间没有相关性。 基本原理简单从感性角度来了解它的原理就是，比如有两个变量，如下图，看起来它俩的信息量差不多，这时不能忽略某个变量进行降维。 创建一个新的坐标体系PC1和PC2，此时PC1包含的信息量远远大于...
一文彻底搞懂PCA
shanhai3000的博客
07-16 2666
一文彻底搞懂PCA简介约定几个符号PCA的应用场景PCA的数学原理数据的向量表示向量的基基变换的矩阵表示协方差矩阵及优化目标方差协方差协方差矩阵协方差矩阵对角化算法及实例实例进一步讨论 简介 PCA（Principal Component Analysis），即主成分分析，是一种基于线性代数的维归约技术，常用于数据挖掘中对数据的预处理，主要用于解决“维灾难”问题。 在阅读本文前，先介绍下文章会涉及到的一些数学理论，这些理论都是PCA技术所依赖的工具或理论基础。 向量相关，如转置、内积、正交 矩阵相关，如矩
pca主成分分析原理
yijilei的博客
10-14 2720
基本思想 几个数学思想： 其方差Var(F1)越大，表示F1包含的信息越多。 从数学上可以证明，原变量协方差矩阵的特征根是主成分的方差，所以前m个较大特征根就代表前m个较大的主成分方差值；原变量协方差矩阵前m个较大的特征值 （这样选取才能保证主成分的方差依次最大）所对应的特征向量就是相应主成分Fi表达式的系数 ，为了加以限制，系数 启用的是 对应的单位化的特征向量，即有 = 1。 其基本思想是设法...
DS&ML_分类算法笔记之模型常见模型优缺点比较
S_gy_Zetrov的博客
04-04 4244
常见模型优缺点比较，包括对缺失值极端值敏感性的对比记录
DS&ML_分类算法笔记之逻辑回归模型
S_gy_Zetrov的博客
03-27 1649
对于逻辑回归模型的相关知识点的总结与整理 简单描述一下逻辑回归的思想，逻辑回归是什么？ 逻辑回归虽然叫回归，但是其实是一种分类机器学习算法，原理是将数据拟合到一个预测logistic函数中，预测logistic函数的值表示取1的概率，而取0的概率就是（1-预测函数值），这样就完成对某些事件发生的概率的预测。简单地说，逻辑回归就是一个梯度下降。(Copyright © http://blog...
DS&ML_分类算法笔记之决策树模型
S_gy_Zetrov的博客
04-01 3159
对于决策树模型的相关知识点的总结与整理 简单描述一下决策树模型的思想，决策树是什么？
DS&ML_分类算法笔记之朴素贝叶斯模型
S_gy_Zetrov的博客
04-01 2005
对于朴素贝叶斯模型的相关知识点的总结与整理 简单描述一下朴素贝叶斯的思想，朴素贝叶斯是什么？ 朴素贝叶斯是一种分类算法，是贝叶斯分类算法的一种，贝叶斯分类算法都是以贝叶斯定理为基础的分类算法。 与一般贝叶斯分类器的区别
如何理解pca
Zhang_Snow的博客
12-19 1656
看了一些介绍pca的博客，但是大部分的描述和分析或者需要较高的数学基础，或者并不连续，一些关键的问题并没有阐述清楚，下面以自问自答的方式解释pca。   1，为什么协方差矩阵是一个对称矩阵？它有什么意义？ 对称矩阵的原因：可以从特征归一化后的矩阵A，A乘A的转置证明；也可以从协方差矩阵的定义得知。 协方差矩阵很有意义，除了直观的反映了不同变量的方差和协方差外，也可以反映线性随机变量函数的方差...
关于主成分分析与因子分析的几点
Sin_Geek成长の迹
05-15 1万+
一、主成分分析 主成分分析流程 1、原始数据标准化。 2、计算标准化变量间的相关系数矩阵。 3、计算相关系数矩阵的特征值和特征向量。 4、计算主成分变量值。 5、统计结果分析，提取所需的主成分。   相关系数公式 主成分计算公式 其中Y是主成分变量矩阵，X是原始数据标准化后的矩阵，U是相关系数矩阵的特征向量。   特征值和特征向量的关系 主成分变量对应
基于特征向量的主成分分析(PCA)原理解释
qq_43557686的博客
03-14 5750
基于特征向量的主成分分析（PCA）原理，附matlab代码
主成分分析（PCA）中的特征值与特征向量，特征值是不是数据在特征向量方向上的方差
不解不惑
04-22 8072
1.PCA的计算步骤 （1）求协方差矩阵 （2）求协方差矩阵的特征值和特征向量 （3）选取前K个特征向量使得贡献率达到85%以上 （4）获得降维后的数据 2.数据在特征向量方向上可以获得最大的方差，可以了解成在该方向上数据的区分度最高，信息量最大 3.协方差的意思 如果结果为正值，则说明数据是正相关的（从协方差可以引出“相关系数”的定义） 数值越大表示相关性越高，方差是...
数学建模笔记-第十四讲-主成分分析
C语言/数据结构/数学建模/深度学习/生物信息
09-04 7071
数学建模笔记 清风课程 主成分分析
数据降维PCA
SrdLaplace的博客
07-27 837
数据将为的方法很多，可以从两个角度四个象限来分类： 线性 非线性 有指导 LDA/MFA SNE/t-SNE 无指导 PCA/ICA 聚类 线面由易到难介绍这几种方法： PCA(principal component analysis, 主成分分析) 理论推导 有数据x1,x2,...,xnx1,x2,...,xnx_1,x...
PCA（主成分分析原理）
White__Hacker的博客
02-08 1206
1. 数据降维   在实际生产生活中，我们所获得的数据集在特征上往往具有很高的维度，对高维度的数据进行处理时消耗的时间很大，并且过多的特征变量也会妨碍查找规律的建立。如何在最大程度上保留数据集的信息量的前提下进行数据维度的降低，是我们需要解决的问题。   对数据进行降维有以下优点：   （1）使得数据集更易使用   （2）降低很多算法的计算开销   （3）去除噪声   （4）使得结果易懂   降...
第十六章 主成分分析(PCA)
忆殇D.Rose的博客
01-12 5752
PCA 对于主成分分析方法的原理和涉及到的相关数学知识的学习，下面几篇文章讲解的非常好： 如何通俗易懂地讲解什么是 PCA 主成分分析？ 如何通俗地理解协方差与相关系数？ 如何通俗地理解奇异值？ 如何理解拉格朗日乘子法和KKT条件？ 如何通俗地理解协方差与相关系数？ 上面几篇文章已经详细的介绍了主成分分析方法的基本概念和实现方法，但还有几点是上面没有涉及，需要继续讨论的： 经典的PCA方法是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值