主成分分析的推导——PCA

最新推荐文章于 2024-04-14 05:42:29 发布
最新推荐文章于 2024-04-14 05:42:29 发布
阅读量295 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 机器学习算法 深度学习 文章标签： 机器学习算法 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_24819773/article/details/88553398
本文深入探讨了PCA(主成分分析)中为何选取最大特征值对应的特征向量作为主要特征，通过解析《深度学习》一书的相关理论，为读者提供了一个清晰的数学证明。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

为什么PCA的提取特征一定是选取最大特征值对应的特征向量呢？

下面是个人针对花书得到的忒大证明：

参考书目：深度学习[M]. 古德费洛

PCL 主成分分析(PCA)在三维点云中的应用【2025最新版】
点云侠的博客
12-04 1万+
PCA在三维点云中的应用——计算点云质心、特征值、特征向量、数据投影、复原、用于配准等。博客长期更新，本文最近一次更新时间为：2025年1月19日。
主成分分析（PCA）原理详解
热门推荐
李春春的专栏
03-04 46万+
机器学习中有关特征选择的问题，其实就是要剔除和类标签无关的特征，去除噪声或者冗余。在这种情况下，需要一种特征降维的方法来减少特征数，减少噪音和冗余，减少过度拟合的可能性。PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。现在的问题是，对于很高维数据，你能想象其分布吗？就算能描述分布，如何精确地找到这些主成分的轴？如何衡量你提取的主成分到底占了整个数据的多少信息？所以，我们就要用到主成分分析的处
[机器学习花书笔记] 主成分分析
u013895890的博客
08-19 954
问题：假设在空间中我们有 m 个点{}，我们希望对这些点进行有损压缩。 方法： 低维表示： 点 → 编码向量 若，则我们便使用了更少的内存来存储原来的数据。 to find         编码器 and         解码器 令    ，     解码矩阵     （简化解码器） 限制：D的列向量都有单位范数      （为了获得唯一解） 限制：PCA 限制 D 的列向量彼此...
主成分分析（PCA）原理总结
Tracy_Lee1993的博客
11-17 2277
主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA，下面我们就对PCA的原理做一个总结。 1. PCA的思想 　　　　PCA顾名思义，就是找出数据里最主要的方面，用数据里最主要的方面来代替原始数据。具体的，假如我们的数据集是n维的
主成分分析(PCA)原理及推导
DoctorCuiLab的博客
10-17 783
主成分分析(PCA)原理及推导 转载请声明出处http://blog.youkuaiyun.com/zhongkejingwang/article/details/42264479 什么是PCA？ 在数据挖掘或者图像处理等领域经常会用到主成分分析，这样做的好处是使要分析的数据的维度降低了，但是数据的主要信息还能保留下来，并且，这些变换后的维两两不相关！至于为什么？那就接着往下看。在本文中，将会很详细的解答这些...
PCA（主成分分析）-------原理，推导，步骤、实例、代码
xxty1122的博客
04-09 6万+
最近一直在学习主成分分析（PCA），所以想把最近学的一点知识整理一下，如果有不对的还请大家帮忙指正，共同学习。一、PCA简介1.概念：主成分分析是一种统计方法，通过正交变换将一组可能存在相关性的变量转换成一组线性不相关的变量，转换后的这组变量叫主成分。2.思想：PCA的思想是将n维特征映射到m维上（m&lt;n），这m维是全新的正交特征，称为主成分，这m维的特征是重新构造出来的，不是简单的从n维特...
主成分分析(PCA)——矩阵角度推导
mrforth的博客
02-28 1332
最近机器学习课上正式讲了主成分分析，只是老师说的很快，我并没有完全理解。随后我搜了很多关于这方面的讲解来进行理解，仅优快云上就有很多讲的很好的文章，从协方差矩阵角度进行说明，基本上我也都理解了。但另一方面我发现可以结合我最近学的矩阵分析，从纯矩阵运算的角度推导。这里说明在阅读这篇文章之前，最好对矩阵知识有一定的了解，不过不用多深，因为我才刚刚开始学矩阵分析，所以我对矩阵的了解也不深。
算法公式推导——PCA
sunqin的博客
06-13 1221
主成分分析（Principle Component Analysis，PCA）算法公式推导： 1，算法定义 算法输入：一堆点集 X=[x1,x2,...,xm]，其中xi∈Rn,  i=1,2,...,m\mathbf{X} = [x_1, x_2, ...,x_m]，其中x_i \in \mathbb{R}^n, ~~i = 1,2,...,mX=[x1​,x2​,...,xm​]，其中xi​∈Rn,  i=1,2,...,m 算法输出： 一堆主向量 z1,z2,.
机器学习笔记（九）——数据降维：主成分分析法（PCA）
weixin_43312354的博客
04-22 9万+
一、主成分分析法（PCA）思想及原理 （一） 什么是主成分分析法 PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法（非监督的机器学习方法）。 其最主要的用途在于“降维”，通过析取主成分显出的最大的个别差异，发现更便于人类理解的特征。也可以用来削减回归分析和聚类分析中变量的数目。 （二）为什么要做主成分分析 在很多场景中需要对多变量...
西瓜书学习笔记——主成分分析（公式推导+举例应用）
Nie同学的博客
02-03 2562
本篇博客介绍了主成分分析（PCA）算法，以及其在降维问题中的应用。PCA旨在通过线性变换找到最能代表原始数据的主成分，同时保留数据的重要信息。通过特征值分解，我们推导了PCA的优化目标，并使用重构阈值确定最小降维维度。最后，通过实验分析展示了PCA在一个相关数据集上的降维效果。
【数学】主成分分析（PCA）的详细深度推导过程
最新发布
机器人技术、机器学习理论、数学公式算法等记录
04-14 3471
现代数据集，如网络索引、高分辨率图像、气象学、实验测量等，通常包含高维特征，高纬度的数据可能不清晰、冗余，甚至具有误导性。数据可视化和解释变量之间的关系很困难，而使用这种高维数据训练的神经网络模型往往容易出现过拟合（维度诅咒）。 主成分分析（PCA）是一种简单而强大的无监督机器学习技术，用于数据降维。它旨在从大型变量集中提取一个较小的数据集，同时尽可能保留原始信息和特征（有损压缩）。PCA有助于识别数据集中最显著和有意义的特征，使数据易于可视化。应用场景包括：统计学、去噪和为机器学习算法预处理数据。这些知识
主成分分析两种等价推导
weixin_43216903的博客
06-10 816
主成分分析（PCA）是最常用的降维方法。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。 思想 PCA顾名思义，就是找出数据里最主要的方面，用数据里最主要的方面来代替原始数据。 具体的，假如我们的数据集是nnn维的，共有mmm个数据(x(1),x(2),...,x(m))(\pmb {x^{(1)},x^{(2)},...,x^{(m)}})(x(1),x(2),...,x(m)​x(1),...
主成分分析几何理解与推导
weixin_44900846的博客
05-24 2422
多变量可能存在信息的重叠，人们希望通过克服相关性、重叠性，用较少的变量来代替原来较多的变量，而这种代替可以反映原来多个变量的大部分信息，即“降维”的思想。 一、几何理解 我们从几何上出发进行推导。 PCA从几何上看，就是将高维空间的数据正交投影到低维子空间，同时保留尽可能多的信息。 首先来看二维的情况，我们有以下已经中心化的数据（中心化不改变数据的相对位置，且便于后续处理计算）。 我们尝试为其拟合一条线，首先绘制一条穿过原点的随机线： 然后旋转线，使它尽可能的拟合数据，最终得到拟合最好的线： PCA如
《深度学习》（花书）中主成分分析（PCA）的一个知识点证明
qq_36561680的博客
05-24 338
【线性代数】PCA中的数学证明题
pca数学细节（特征值最大）的形象理解
weixin_65403042的博客
11-06 938
但可能有某些特殊的方向，你推的时候，建筑物仅仅是沿着你推的那个方向直线移动，而不是旋转或弯曲。这个方向就是建筑物的一个“特征方向”，而你需要用来推动建筑物以使其沿这个方向移动的力的大小就是这个方向的“特征值”。在建筑比喻中，如果建筑在某个方向上需要很大的力才能移动，那么这个方向就是结构上最稳定的方向，也就是最能反映建筑整体性质的方向。你施加的力越大，说明越靠近使得物体不稳定的力的临界水平，（假设施加无限大的力一定会使得建筑不稳定），也就是说 这个力最能完全的反应物体的稳定程度；
PCA主成分分析的理论推导（为什么选择协方差矩阵的最大特征值对应的特征向量作为投影方向？）
沙丁鱼鱼鱼
07-07 5133
主成分分析
whiteinblue的专栏
03-12 3万+
主成分分析 在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性，势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行主成分分析。 第一节    主成分分析的原理及模型 一、
主成分分析：降维与数据结构简化技术
由于文件的名称列表中只提供了"主成分分析.ppt"这一个文件，我们可以推断这个文件很可能是关于主成分分析的讲解材料，包括理论基础、数学推导、应用实例等。用户在使用这个PPT文件时，可以预期到它将覆盖主成分分析...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值