机器学习笔记 - 主成分分析中的数学

最新推荐文章于 2023-08-10 15:48:00 发布
最新推荐文章于 2023-08-10 15:48:00 发布
阅读量1.2k 收藏 5
点赞数 2
分类专栏： 深度学习从入门到精通 文章标签： 主成分分析 PCA 降维 线性代数 方差
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bashendixie5/article/details/124302345
版权
本文深入探讨主成分分析（PCA），通过数学推导解释PCA如何降维并保持数据集的重要信息。首先介绍了PCA的目标是寻找一组新的正交主成分，最大化数据方差。接着详细阐述PCA的数学过程，包括问题描述、约束条件、编码函数的寻找、最小化函数、计算D的过程。最后通过一个2D数据集的应用示例，展示了PCA如何在实际中找到最大方差的方向，以及如何进行数据旋转和降维。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、主成分分析

        维度是数据科学中的一个关键属性，维度是数据集的所有特征。例如，如果您正在查看包含音乐片段的数据集，维度可能是流派、片段的长度、乐器的数量、歌手的存在等等。

        您可以将所有这些维度想象为不同的列。当只有两个维度时，可以使用X和Y轴绘制它。如果添加颜色，您可以表示第三个维度。如果你有几十个或几百个维度，它也是类似的，只是更难具象化它。

        当你有这么多维度时，其中一些是相关的。例如，我们可以想当然地认为一段音乐的流派将与该作品中出现的乐器相关。降低维度的一种方法是只保留其中的一些维度。但很有可能丢失了代表性强的信息。所以需要一种方法可以减少这些维度，同时保持数据集中存在重要信息。

        主成分分析(PCA) 的目的是减少数据集的维数。PCA为我们提供了一组新的维度，即主成分(PC)。它们是有序的：第一个主成分是与最大方差相关的维度。此外，主成分是正交的。请记住，正交向量意味着它们的点积等于0。这意味着每个主成分都与前一个主成分不相关。您可以选择只保留前几个主成分，因为每个

了解本专栏 订阅专栏 解锁全文
机器学习中的数学基础：(3)主成分分析（PCA）及其应用
m0_37957160的博客
04-01 2392
主成分分析主要用于数据的降维？什么是降维？ 比如说有如下的房价数据： 这种一维数据可以直接放在实数轴上： 房价样本数据用X表示，则以上数据的均值为： 以均值为原点： 将上述表格以均值，做“中心化”处理，再求方差。 中心化之后看到数据分为两类： 接下来新增加房屋面积，可以看到两者正相关（此例是理想情况下，房价和面积完全成正比，所以会在一条直线上），有一列数据就是多余的...
PCA（主成分分析）的数学原理(之前一门课程写的报告,现在发上来...)
lovemylife1234的博客
05-04 2273
1.背景介绍 一般情况下，在数据挖掘和机器学习等数据分析领域中，数据都被表示为向量。众所周知，很多机器学习算法的复杂度和数据的维数有着密切关系，甚至与数据维数呈指数级别关联。然而实际机器学习中处理的数据可达成千上万甚至几十万维，在这种情况下，算法的资源消耗是不可接受的，因此我们必须对数据进行降维。PCA（Principal Component Analysis），即所谓的主成分分析，...
PCA主成分分析数学原理
littlehaes的博客
02-22 905
复习完线性代数再来推导下PCA 概述 主成分分析(principalcomponent analysis)是一种数据分析方法, 出发点:从一组特征中计算出一组按重要性从大到小排列的新特征,它们是原有特征的线性组合,并且相互之间是不相关(即不线性相关)的. 重要性:通过方差衡量,方差大说明数据分布很散,含有的信息量大 不相关:推导时用 具体推导 参数说明 记x1,x...
主成分分析之数学推导
Timingspace的博客
05-04 2273
记者：王老您好，上次您给我们清晰的介绍了什么是主成分，今年您是否有空给我们讲一讲如何用数学方法来分析主成分呢？ 王老：可以的，但我现在手头有点事，半个小时之后再来找我 记者：好的，一会儿见 半个小时后 王老：我们开始吧，其实主成分分析一般分为两个大的步骤，第一步是讲把数组的平均值变成0并保证各个维度的数据在一个尺度上，第而步找到一个可以原来的特征空间映射到一个新的特征空间的矩阵和从新的特征空
【数学建模】--主成分分析
最新发布
weixin_73612682的博客
08-10 3993
本讲将介绍主成分分析（Principal Component Analysis，PCA），主成分分析是一种降维算法，它能将多个指标转换为少数几个主成分，这些主成分是原始变量的线性组合，且彼此之间互不相关，其能反映出原始数据的大部分信息，一般来说，当研究的问题涉及到多变量且变量之间存在很强的相关性时，我们可以考虑使用主成分分析的方法来对数据进行简化。如果为主成分回归，则还需要计算标准化y值（利用函数zscore），再将得到的标准化y和主成分变量F1，F2……（计算过程复杂，后期会有代码和注释的补充）。
数学建模之主成分分析
JxufeCarol的博客
08-31 1368
一、定义 主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。 在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。 主成分分析首先是由K.皮尔森（Karl Pearson）对非随机变量引入的，...
PCA（主成分分析）数学推导
一路向北
05-20 968
 证明对称阵的不同特征值对应的特征向量是相互正交的，如下：  
机器学习笔记--常见算法(4)--主成分分析介绍及代码实现
不行不至
08-22 1151
0.背景 1.主成分分析(PCA)介绍 1.1 PCA的优化目标 1.2 PCA算法思路 1.3 PCA算法伪码 2.PCA理论基础 2.1 协方差矩阵 2.2 特征值和特征向量 3.PCA算法实现代码 0.背景 真实的训练数据存在各种各样问题： 1、(冗余) 比如拿到一个汽车的样本，里面既有以“千米/每小时”度量的最大速度特征，也有“英里/小时”的最大速...
【白板推导系列笔记】降维-主成分分析-概率角度（Probabilistic PCA）
liu20020918zz的博客
10-05 779
PPCA假设所有的样本点取自某个分布X∈RpX \in \mathbb{R}^{p}X∈Rp，对应的每个点xix_{i}xi​，都有一个ziz_{i}zi​与之对应，取样与某个分布Z∈Rq(q
机器学习笔记（九）——数据降维：主成分分析法（PCA）
热门推荐
weixin_43312354的博客
04-22 9万+
一、主成分分析法（PCA）思想及原理 （一） 什么是主成分分析法 PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法（非监督的机器学习方法）。 其最主要的用途在于“降维”，通过析取主成分显出的最大的个别差异，发现更便于人类理解的特征。也可以用来削减回归分析和聚类分析中变量的数目。 （二）为什么要做主成分分析 在很多场景中需要对多变量...
主成分分析（PCA）的数学原理理解
福尔摩睿的工作站
09-05 1998
以前草草地看过主成分分析的原理，一直没能好好从根上过一遍PCA的数学原理，最近抽空推了一遍PCA，这里把其原理具体说一说，本文尽量不涉及数学公式推导，尽量引导读者轻松的、感性地理解PCA的原理。主成分分析的总体思路主成分分析的总体思路是找出若干维度的特征中最具代表性的几个特征。这里的“最具代表性“即指最能表征所有样本的独特性的、最具区分度的特征，即特征内样本点的方差尽可能大。通过主成分分析进行数据降
主成分分析（PCA）的数学原理与应用
JavaWinner的专栏
12-05 1499
PCA（主成分分析）主要用于数据降维。问题：样本 x i ∈R m  x_i \in \mathbb R^{m} 以列向量表示，现将 n n 个样本构成的样本集 X∈R m×n  X\in \mathbb R^{m\times n} 降维到 X ^ ∈R k×n  \hat{X} \in \mathbb R^{k\times n}（k≤m k \leq m），以达到数据压缩的目的。不难发现，上述问题
机器学习基础篇（十一）——主成分分析法
羊羊的博客
02-25 2662
机器学习基础篇（十一）——主成分分析法 一、简介 当我们对含有多个变量的数据进行观测时，我们会收集大量的数据然后分析他们。 大样本的数据集固然提供了丰富的信息，但是在一定程度上增加了问题的复杂性。 如果我们分别对每个指标进行分析，往往得到的结论是孤立的，并不能完全利用数据蕴含的信息。 但是盲目的去减少我们分析的指标，又会损失很多有用的信息。 所以我们需要找到一种合适的方法，一方面可以减少分析指标，另一方面尽量减少原指标信息的损失 由于不同的指标中存在着相关关系，所以我们可以考虑将关系紧密的指标合成一些新的变
独立成分分析 ( ICA ) 与主成分分析 ( PCA ) 的区别
沈春旭的博客
12-10 3万+
1.前言 参考资料：https://www.zhihu.com/question/28845451 书上写的是： 1. 主成分分析假设源信号间彼此非相关，独立成分分析假设源信号间彼此独立。2. 主成分分析认为主元之间彼此正交，样本呈高斯分布；独立成分分析则不要求样本呈高斯分布。 在利用最大化信息熵的方法进行独立成分分析的时候，需要为源信号假定一个概率密度分布函数g'，进而找出使得g(Y)=g...
数据降维知识40题(附答案)
科技创新与颠覆者
04-30 7021
数据降维知识40题(附答案) 2017-04-28 PPV课大数据 摘要： 本文例举了一个针对数据科学家的数据降维测试，测试总共有40道题，涉及的内容主要有PCA、t-SNE以及LDA降维技术。想检验下自己对降维技术掌握的情况就赶快测测吧。 作者介绍 Ankit Gupta：数据科学家、IIIT Allahabad研究助理，热爱解决复杂的数据挖掘问题、了解更
数据归约——主成分分析PCA
weixin_56631477的博客
11-12 2728
人们希望用较少的变量来代替原来较多的变量，这种代替可以反映原来多个变量的大部分信息，这实际上是一种“降维”的思想。一般要求所选主成分的方差总和占全部方差的80%以上，一般来说，主成分的累计方差贡献率达到80%以上的前几个主成分，都可以选作最后的主成分。（6）根据主成分分析模型和主成分载荷，可以得到主成分与原来变量之间的线性组合表达式。：如果第一个主成分不足以代表原来的变量，在考虑选择第二个主成分，依次类推。（3）确定主成分：特征值越大，则对应的特征向量表示的主成分的方差越大。
PCA的数学原理
wxing2008666的专栏
06-28 6641
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。 当然我并不打算把文章写成纯数
主成分分析的数学原理
沈春旭的博客
03-05 4590
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理。 1.数据的向量表示以及降维问题 一般情况下，在数据挖掘和机
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坐望云起

如果觉得有用，请不吝打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值