PCA与PPCA推导及理解

已于 2022-07-26 13:33:25 修改
阅读量4k 收藏 12
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 机器学习 数据降维 PCA PPCA
于 2019-11-05 10:49:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/scott198510/article/details/102911651
本文详细介绍了PCA（主成分分析）和PPCA（概率性主成分分析）的概念、推导过程和应用场景。PCA通过找到数据最大方差的方向实现数据降维，而PPCA则引入了概率模型，适用于数据有噪声的情况。两者在最大似然估计下，当噪声为0时，PPCA的结果与PCA一致。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

0.概述

       在数据挖掘或者图像处理等领域经常用到主成分分析 PCA，其用意是使待分析的数据维度降低，但是数据的主要信息还能保留下来，即采用低维的数据可以实现对高维信息的编码和还原，低维的信息可以理解为高维信息的某种隐因子或隐变量（latent feature or latent variable）。

1.数据降维

        假设数据分布如下图所示，在3D里面像螺旋的样子，但是用3D空间来描述这些数据其实很浪费存储资源，其实从资源角度理解：把这个类似地毯卷起来的东西把它摊开就变成这样右图。所以我们需要在2D的空间就可以描述这个3D的信息，根本不需要把这个问题放到这个3D来解，这是把问题复杂化，可以在2D就实现这个任务，这就实现了数据的降维。

        

上述数据从3D空间向2D空间转化，可以理解为寻找一个函数f，这里f 的输入是一个D维向量

了解本专栏 订阅专栏 解锁全文 超级会员免费看
kernel PCA 与 kPPCA 原理及推导过程
scott198512的博客
05-22 957
kernel PCA与 kernel PPCA原理及推导、代码实现
PCA数学推导过程
03-19
PCA降维过程的数学简单推导
简单推导 PCA
12-10 1278
考虑二维数据降低到一维的例子，如下图所示： 最小化投影方差（maximize projected variance）：
PCA(主元分析)推导与应用
最新发布
qq_30574227的博客
05-11 963
在人脸识别场景下，数据集包含了人脸图像数据，每一个数据点是一张人脸图像，可以用一个向量来表示这个图像（这个向量每一个坐标值对应于图像中的一个像素点的灰阶值）。首先需要对矩阵A正则化，之后求解数据集的协方差矩阵S，再求解矩阵S的特征值及特征向量，选取前n个最大特征值对应的特征向量作为主元子空间的基。PCA通过寻找原始数据空间的一个子空间，并在这个子空间中获取原始数据点的最佳近似数据点。这个就是PCA的目标。数据集在完全补空间中的部分是要被忽略的，选择忽略掉特征值最小的部分，也就是忽略了数据集方差最小的部分。
PCA推导
zyy848877920的博客
01-10 528
一、协方差、协方差矩阵： 方差是描述一维数据样本本身相对于均值的偏离程度。 思考：如果遇到含有多维数据的数据集，比如要统计多个学科的考试成绩，面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，某个考生数学成绩很好（数学成绩平均值高，且其方差小），他的物理成绩也很好（物理成绩平均值高，且其方差小），这些可以用均值和方差来描述，但是我们想要了解考生的数
PCA算法推导
crazy_scott的博客
05-26 1936
PCA理解与应用。 Motivation PCA与Factor analysis非常相似，都是主要用于reduction data dimensions。但PCA的想法相比于Factor analysis更简单，实现起来也更加直观和容易（只需要算特征值）。 PCA tries to identify the subspace in which the data approximately li...
PCA数学推导
m0_46195532的博客
04-16 1248
A、B均为二维向量，则A点乘B，即A与B的内积为： 几何理解：A与B的内积值 = A向B所在直线投影的模 × B的模向量（3，2）包含的定义： 以 x 轴和 y 轴上正方向长度为 1 的向量为标准。 向量 (3,2) 实际的意思是： 这个向量在x轴投影为3，y轴的投影为2 即默认此向量在（1，0）与（0，1）这组基下进行投影，因为任意向量与这组基分别求内积得到结果的数值还是自身，所以直接就可以用x、y轴坐标进行表示。由此可以得出结论： 准确描述向量要满足两个要点：（1）确定一组基（2）通过分别做内积求出向
PPCA(Probability PCA)
LiuPiaoLiang's blog
11-10 8991
伯克利的机器学习课的note当中简要介绍了一下PPCA, 但是我看了感觉没写什么东西。Yu姐上PPCA那节课我翘了，导致我对于PPCA几乎是一无所知。碰巧翻了一下工大自己的机器学习课的ppt，翻到了关于PPCA的内容，所以就结合CS189的note了解了一下PPCA。 1. Key assumptions PPCA假设所有的样本点都取样于某个分布 x∈Rd{\bf x} \in {\Bbb R}^...
【白板推导系列笔记】降维-主成分分析-概率角度（Probabilistic PCA）
liu20020918zz的博客
10-05 787
PPCA假设所有的样本点取自某个分布X∈RpX \in \mathbb{R}^{p}X∈Rp，对应的每个点xix_{i}xi​，都有一个ziz_{i}zi​与之对应，取样与某个分布Z∈Rq(q
PRML读书会第十二章 Continuous Latent Variables（PCA，PPCA，核PCA，Autoencoder，非线性流形)
Nietzsche2015的专栏
02-03 6632
第十二章连续隐变量，由中科院自动化所戴玮博士分三次讲完。精彩内容有：从最大方差和最小重构误差两个角度解释了PCA；包含连续隐变量的概率生成模型PPCA，其最大似然闭式解的推导以及EM求解方法；核PCA的变换；最后介绍了Autoencoder、非线性流形思想。
PCA理论推导
Xafter0的博客
04-17 401
令 \(X=\left[ \begin{matrix}x_1 & \cdots& x_N\end{matrix}\right]\in R^{D\times N}\)是一个给定的待降维的数据集，由\(X\)中的元素可以张成\(R^D\)中的一个子空间\(S=span \{x_1,\cdots,x_n\}\),在\(S\)中寻找一个\(d\)维子空间 \(U\),假设\(U\) 的...
PCA详细推导
08-10
PCA，主成分分析，详细推导。
PCA算法推导过程及案例分析
10-17
即主成分分析技术，又称主分量分析。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
PCA的数学原理推导
道路，愿景与目标。
05-09 5281
PCA的数学推导 PCA（Principle Component Analysis）是一种可以将高维度数据降为低维度数据的机器学习算法。通过降维，可以有节省存储空间，数据可视化等优点。之前在Coursera上Andrew Ng的机器学习时了解到此算法，但是那个课只涉及了实现，并未阐述其背后的数学原理。之后在Coursera上又找到一门专门讲PCA数学原理的课程，才借此了解些许其中的数学原理，在此...
PCA公式推导
m0_46716894的博客
10-15 2383
PCA公式推导 文章目录PCA公式推导PCA目的与原理PCA使用说明PCA公式推导关于m值的选择Python实现PCA对于鸢尾花数据进行降维PCA和LDA的思路比较 PCA目的与原理 PCA可以实现在维度较多的时候的降维的功能，并且能在降维的过程中最大的保留原来的变量的所有信息。实现的思路是，对于现存的m维数据，找到k（k<m）维数据来对其进行代替，目标是尽可能减少信息的损失。为了更加直观的认识，我们以二维的数据为例。如下图，存在蓝色的一些数据点，我们希望找到一个比二维维度更低(这里就是这条一维的直线
PCA 原理推导
彬彬侠的博客
11-15 1262
本文对主成分分析（PCA）的原理进行了简单推导，给出数学公式的推导计算过程。
主成分分析(PCA)，概率主成分分析(PPCA)和因子分析(FA)的区别？
Jie Qiao的专栏
04-12 5320
介绍 在PCA中，有一份样本为n，维度为d的数据X∈Rn×d\displaystyle X\in \mathbb{R}^{n\times d}X∈Rn×d，我们希望降维，于是： X≈ZWT X\approx ZW^{T} X≈ZWT 而Probabilistic PCA则是假设 x∼N(Wz,σ2I),  z∼N(0,I) x\sim \mathcal{N}\left( Wz,...
python进行pca、PPCA、kpca
06-06
PCA（Principal Component Analysis）是一种常见的降维方法，用于将高维数据转化为低维数据，同时保留最多的信息量。PPCA（Probabilistic Principal Component Analysis）是对PCA方法的概率化扩展，用于处理缺失数据的情况，同时也能更好地处理非线性数据。KPCA（Kernel Principal Component Analysis）是对PCA方法的内核化扩展，可以更好地处理非线性数据。 在Python中，这些方法都有对应的实现。PCA和PPCA可以使用scikit-learn库中的PCA和ProbabilisticPCA来实现。具体来说，使用PCA和ProbabilisticPCA类的fit_transform方法可以得到降维后的数据。而KPCA则可以使用scikit-learn库中的KernelPCA来实现，同样也可以使用fit_transform方法来得到降维后的数据。 下面是一些相关问题：
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

scott198512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值