主成分分析的（Principal Components Analysis，PCA)多角度解析

1.问题的提出

PCA算法作为经典的机器学习算法，从提出到如今的几十年历史中，其所蕴含的思想一直伴随着机器学习算法的发展。这里我们从不同的角度探讨PCA能够图像用于的图像去噪、压缩和特征提取的数学原理和所包含的的物理含义。例如：（1）为何PCA对包含较小方差的高斯噪声图像具有较好去噪能力？（2）RPCA为何能够改进PCA在去噪时的缺陷？（3）为何PCA采用样本的协方差矩阵的前$k$个特征向量矩阵构造投影空间？

（1）特征提取
随着互联网的普及，人们所接触的数据量正以成千上万的倍数增长，自然而然产生了一个问题，在海量数据面前，我们能如何提取出关键的信息用以减少所需处理数据量，提升效率。以淘宝平台上品牌手机日记录数据为例：

手机品牌	浏览量	访客数	下单数	成交数	成交金额
华为	$N_1$ $F_1$ $X_1$ $C_1$ $J_1$ 小米 $N_2$ $F_2$ $X_2$ $C_2$ $J_2$ iphone $N_3$ $F_3$ $X_3$ $C_3$ $J_3$ 三星 $N_4$ $F_4$ $X_4$ $C_4$ $J_4$ 魅族 $N_5$ $F_5$ $X_5$ $C_5$ $J_5$ 从表中可知，下单数、成交数和成交金额，浏览量和访客量为强相关。于是上述5维的数据能够利用2维的数据较为准确的表示出来，PCA通过空间投影的方法解决了上述问题。 （2）图像去噪 加性噪声定义式： $${\text{L = A + E}}\begin{array}{*{20}{c}}{}&{}&{}&{\left( 1 \right)} \end{array}$$ 其中，$L$为污染图，$A$为纯净图,且为low-rank矩阵，$E$为噪声图像，且为稀疏矩阵。 PCA算法去噪的目标模型为： $$\mathop {\min }\limits_A \left\| {L - A} \right\|_2^2\begin{array}{*{20}{c}} {}&{}&{s.t{\kern 1pt} {\kern 1pt} {\kern 1pt} rank(A)\leqslant k} \end{array}\begin{array}{*{20}{c}} {}&{}&{}&{\left( 2 \right)} \end{array}$$ 通过优化目标函数，获得去噪图像。值得一提的是噪声矩阵$E$中的元素的分布必须是方差较小的高斯分布，即噪声矩阵为高斯矩阵。此处存在两个疑问：在利用PCA算法用于去噪时（1）为何噪声矩阵的方差较小，（2）为何噪声矩阵必须为高斯矩阵，都将会在下文中一一解释。 2.PCA的求解过程 步骤一：提取多幅图像的特征向量，组合而成特征矩阵$Y = \left( {{y_1},{y_2}, \cdot \cdot \cdot ,{y_n}} \right) \in {R^{m \times n}}$。 步骤二：获得特征矩阵$Y$的协方差矩阵$M$，将协方差矩阵进行特征值分解，并提取按从大到小排序的特征值所对应的前$k$个特征向量组成特征向量矩阵$P \in {R^{n \times k}}$。 步骤三：将特征矩阵$Y$向特征向量矩阵$P$张成的投影空间中投影，获得投影特征$X \in {R^{m \times k}}$，即$X = YP,k<<n$. 由上述步骤可知获得投影特征$X$的维数远远小于特征矩阵$Y$的维数。从特征提取的角度来看，可以认为PCA算法提取出了特征矩阵中其主要贡献的信息（通过特征值大小衡量），从图像去噪的角度看，PCA算法提取出了主要信息而忽略的信息可以认为是噪声。 PCA算法的求解关键在于投影空间的选取，即投影矩阵的获得，于是我们会有疑问：为什么选择样本协方差矩阵的特征向量构造投影矩阵？首先，我们知道投影空间选取的一般原则可归纳为：（1）投影特征在投影空间中应尽可能的分散，相似性较低，以保证投影特征包含更充分的信息，同时也能降低投影矩阵的维数；（2）投影矩阵应与原特征矩阵尽可能的接近，以减少信息的丢失。基于上述原则 PCA算法可以从最大方差理论，PCA算法的最小平方误差理解，继而推导出投影矩阵的最优形式（为了直观与方便，下文以二维情况为例进行讲解）。 3.PCA的最大方差理论解释 信号处理中认为信号具有较大的方差，噪声有较小的方差。 确定要放弃本次机会？ 福利倒计时 : : 立减 ¥ 普通VIP年卡可用 立即使用 PRIP 关注 关注 1 点赞 踩 4 收藏 觉得还不错? 一键收藏 知道了 1 评论 分享 复制链接 分享到 QQ 分享到新浪微博 扫一扫 举报 举报 专栏目录 主成分分析（PCA）和独立成分分析（ICA）在统计学和机器学习领域中被广泛应用于数据分析和信号处理 ByteKnight的博客 09-03 325 以上代码首先对数据进行中心化处理，然后进行白化处理，即将数据的协方差矩阵变为单位矩阵。主成分按照方差的大小排列，第一个主成分具有最大方差，第二个主成分具有次大方差，以此类推。这样，通过保留较高方差的主成分，可以实现数据的降维。本文介绍了主成分分析（PCA）和独立成分分析（ICA）的基本原理，并提供了使用Matlab实现的示例代码。PCA用于降低数据维度和提取数据的主要特征，而ICA用于从混合信号中恢复出原始信号。最后，将数据投影到选择的主成分上，得到降维后的数据。二、独立成分分析（ICA） GEE：主成分分析（Principal components analysis，PCA） 养乐多的博客 04-04 2273 本文将介绍主成分分析（Principal components analysis，PCA）原理和在Google Earth Engine（GEE）平台上应用 PCA 算法的代码和案例。并应用于 Landsat 数据可见光波段和生态遥感指数（RSEI） 案例中。并介绍如何针对一副影像、一个影像集合进行 PCA 分析，文中对 PCA 的计算过程进行了封装，只需要调用 imagePCA(imageCollection, imageBands) 函数，即可得到影像的主要成分分量，并输出特征值和特征向量。可以输出多个 1 条评论 您还未登录，请先 登录 后发表或查看评论 计算机fddl是什么网络,FDDL weixin_39781783的博客 06-23 1796 相关文献0引言c2min||α||1+β∑i=1||Aiαi||2s.t||y-Aα||2≤ε(2)a作为生物特征识别之一的人脸识别得到了广泛研约束项前的第一项保证了测试样本y在A上的整体究,实现高识别率和实时性成为研究的重点。FDDL字稀疏性,第二项实现了y在c个类上不同组间的稀疏性。典学习在对训练样本进行重构的同时,引入了Fisher混合稀疏可以克服SRC仅考虑表示系数在所有样本上的判别准则,... PCA主成分分析 提取主成分，过滤噪音 weixin_44746091的博客 08-26 3058 前一篇提到的人脸识别中，我们在使用SVM支持向量机做人脸分类之前使用到PCA提取人脸数据中的主要成分，降低计算的维度，那么具体PCA是如何提取的呢？下文了解一下。 PCA is a method to project data in a higher dimensional space into lower dimensional space by maximizing the variance of each dimension --wiki PCA is mostly used as a tool i 主成分分析 PCA | Principal Components Analysis JasonH2021的博客 06-03 3892 本文主要简单介绍了主成分分析的基本概念，优缺点，应用场景，建模时的注意事项，实现方法和模型参数等。 【图像去噪】基于matlab高斯+低通+巴特沃斯滤波虹膜图像滤波【含Matlab源码 501期】 订阅付费专栏Matlab（奶茶价版），可赠送奶茶价版付费专栏指定代码1份； 03-12 5757 高斯+低通+巴特沃斯滤波虹膜图像滤波 完整代码，直接运行，适合小白！可提供运行操作视频！ 机器学习——主成分分析PCA（Principal Component Analysis） weixin_74340055的博客 06-24 1195 PCA（Principal Component Analysis，主成分分析）是一种无监督学习的降维方法。它基于一个简单的前提：一个高维数据集可能包含许多冗余或相关的特征，而这些特征可能并不都包含有价值的信息。PCA的目标是通过线性变换找到数据的主要成分，即数据的最大方差方向，并将数据投影到这些主要成分上，从而在保持数据的主要特性的同时降低数据的维度。通过本次实验，我们验证了PCA在人脸识别特征降维中的有效性。 主成分分析(PCA) blinkyou001的博客 08-11 1万+ 本文讲解了主成分分析（PCA）的基本原理，并利用python进行了实例演示。 主成分分析(Principal components analysis)(Python) 05-31 主成分分析(Principal components analysis)是最常用的降维方法 算法步骤： （1）对所有样本进行中心化操作 （2）计算样本的协方差矩阵 （3）对协方差矩阵做特征值分解 （4）取最大的d个特征值对应的特征向量，构造... 主成分分析 (Principal Components Analysis, PCA) wf4csdn的博客 08-09 289 通过降维 (Dimensionality Reduction)，实现数据压缩以减少计算、存储成本，或实现数据可视化以直观了解数据。1. 数据预处理特征缩放及标准化 (feature scaling / mean normalization)： x(i)j=x(i)j−μjsjx^{(i)}_j=\frac{x^{(i)}_j-\mu_j}{s_j}其中 μj=1m∑i=1mx(i)j\mu_j= Principal components analysis(PCA)--主成分分析1.0 weixin_59250115的博客 01-21 671 在多元统计分析中，主成分分析（英语：PCA）是一种统计分析、简化数据集的方法。它利用正交变换来对一系列可能相关的变量的观测值进行线性变换，从而投影为一系列线性不相关变量的值，这些不相关变量称为主成分（Principal Components）。具体地，主成分可以看做一个线性方程，其包含一系列线性系数来指示投影方向。PCA对原始数据的正则化或预处理敏感（相对缩放）。简单来说（用人话来说），PCA是一项流行的用于数据降维的技术，并在降维的同时尽可能得保持数据原有的特征。 主成分分析（Principal components analysis）-最大方差解释（转） 初学者的博客 06-20 1万+      在这一篇之前的内容是《Factor Analysis》，由于非常理论，打算学完整个课程后再写。在写这篇之前，我阅读了PCA、SVD和LDA。这几个模型相近，却都有自己的特点。本篇打算先介绍PCA，至于他们之间的关系，只能是边学边体会了。PCA以前也叫做Principal factor analysis。1. 问题     真实的训练数据总是存在各种各样的问题：1、 比如拿到一个汽车的样本... PCA(主分量分析法） weixin_34101784的博客 10-29 385 协方差矩阵——PCA的关键。  　　　PCA的目的就是“降噪”和“去冗余”。“降噪”的目的就是使保留下来的维度间的相关性尽可能小，而“去冗余”的目的就是使保留下来的维度含有的“能量”即方差尽可能大。那首先的首先，我们得需要知道各维度间的相关性以及个维度上的方差！那有什么数据结构能同时表现不同维度间的相关性以及各个维度上的方差呢？自然是非协方差矩阵莫属。回忆下《浅谈协方差矩阵》的内容，协方差矩阵度... pca算法python实现_三种方法实现PCA算法（Python） weixin_39620653的博客 12-03 786 主成分分析，即Principal Component Analysis(PCA)，是多元统计中的重要内容，也广泛应用于机器学习和其它领域。它的主要作用是对高维数据进行降维。PCA把原先的n个特征用数目更少的k个特征取代，新特征是旧特征的线性组合，这些线性组合最大化样本方差，尽量使新的k个特征互不相关。关于PCA的更多介绍，请参考：https://en.wikipedia.org/wiki/Prin... 主成分分析（Principal Components Analysis, PCA） XY的博客 05-01 520 有效解决问题的前提是选择一个看待问题的好视角，使问题展现其最清晰简单的一面。所谓主成分分析，就是选择一个可以将各待分析样本显著区分开的视角。 主成分分析（Principal Components Analysis） 士杰的博客 05-10 1113 主成分分析PCA(Principal Component Analysis),作用是: 聚类 Clustering：把复杂的多维数据点,简化成少量数据点,易于分簇 降维：降低高维数据,简化计算,达到数据降维,压缩,降噪的目的 PCA 的目的就是找到一个低维映射空间，使得数据映射后方差最大。 理论实现： 首先对样本空间为 ddd 维全部的数据中心化，使得均值为 0，即将所有的样本与样本均值相减获得新的样本： xi=xi−μ \mathbf { x } _ { i } = \mathbf { x } _ { 【医学信号处理与MATLAB（4）】主成分分析法-PCA FelicityXu的博客 03-27 1467 本节主要介绍的是多变数分析中的主成分分析法（PCA） 目录多变量分析方差、协方差与相关性双变量的数据与相关系数的关系[MATLAB RULE]使用COV和CORRCOEF多变量分析主成分分析法(PCA)数据量(DATA)与信息量(INFORMATION)数据冗余(REDUNDANCY)协方差矩阵(COVARIANCE MATRIX)概念实例说明PCA实例的MATLAB代码[MATLAB RULE]使用PRINCOMP使用PRINCOMP进行PCA分析与去噪声概念MATLAB代码比较UNCORRELATED python_主成分分析(PCA)降维 热门推荐 huizxhhui1994的博客 01-22 2万+ 主成分分析（principal component analysis）是一种常见的数据降维方法，其目的是在“信息”损失较小的前提下，将高维的数据转换到低维，从而减小计算量。 　　PCA的本质就是找一些投影方向，使得数据在这些投影方向上的方差最大，而且这些投影方向是相互正交的。这其实就是找新的正交基的过程，计算原始数据在这些正交基上投影的方差，方差越大，就说明在对应正交基上包含了更多的信息量。 数据净化的 “魔法滤镜”：PCA 如何实现降维与降噪的双重蜕变【PCA系列（四）在数据降噪中的应用】 最新发布 weixin_73784131的博客 04-24 891 从理论原理到实战应用，PCA 凭借其独特的降维机制，成为数据降噪的有效工具。通过手写数字数据集的实例，我们直观看到了它净化数据的强大能力。在面试与实际工作中，深入理解 PCA 降噪的原理、参数选择及与其他方法的差异，能帮助我们更好地应对数据处理挑战。无论是面对图像中的噪点，还是高维数据中的干扰，PCA 都如同数据世界的 “魔法滤镜”，让数据的本质特征清晰呈现。 主成分分析（Principal Component Analysis，PCA 03-27 好的，我现在需要回答用户关于主成分分析（PCA）的概念、实现方法和应用场景的问题。首先，我得回顾一下自己了解的PCA知识，同时结合用户提供的引用内容，确保回答准确且符合要求。 用户提供的引用中有几个关键点... PRIP 博客等级 码龄10年 3 原创 12 点赞 46 收藏 6 粉丝 关注 私信 热门文章 FDDL（Fisher discrimination dictionary learning）学习 10978 D-KSVD（Discrimination K-SVD） 3608 主成分分析的（Principal Components Analysis，PCA)多角度解析 2707 分类专栏 machine-learning 2篇 dictionary learning 2篇 上一篇： FDDL（Fisher discrimination dictionary learning）学习 下一篇： D-KSVD（Discrimination K-SVD） 最新评论 FDDL（Fisher discrimination dictionary learning）学习 m0_56958057: 把那条删了就行 D-KSVD（Discrimination K-SVD） Z_529: 你好博主，DKSVD的代码可以分享一下吗948685285@qq.com,万分感激 FDDL（Fisher discrimination dictionary learning）学习 fairyiiiiiiir: 您好，请问demo运行出现unknown sourse如何解决呢 FDDL（Fisher discrimination dictionary learning）学习 xipeng523: 请问有没有源码的使用教程 主成分分析的（Principal Components Analysis，PCA)多角度解析 szx19961012: 为何噪声矩阵必须为高斯矩阵呢 最新文章 D-KSVD（Discrimination K-SVD） FDDL（Fisher discrimination dictionary learning）学习 2017年2篇 2016年1篇 目录 展开全部 收起 相关专栏 GEE入门到高阶应用 专栏 386 人学习 以整体GEE项目为主要支撑，逐步深入GEE开发的多个细节，掌握GEE遥感数据处理的多种常用技巧，提升GEE编码能力和思维能力。 GEE：主成分分析（Principal components analysis，PCA） R语言：入门+数据分析+机器学习 专栏 95 人学习 R语言从入门到机器学习，不说废话、不仅仅是统计学的角度，起始于统计学、丰富于机器学习，案例代码来相见。涉及R生态的工具和技巧，数据连接、数据预处理、探索性数据分析（EDA）、特征工程、监督学习（分类、回归）、非监督机器学习（聚类、降维）、模型评估、可视化结论，涉及众多流行的R包和数据集。 主成分分析（Principal Component Analysis，PCA）与因子分析（factor analysis） 数据湖 专栏 87 人学习 大数据领域相关组件使用，数据入湖，数据湖分层，数据查询以及机器学习和人工智能算法等 机器学习之主成分分析（Principal Component Analysis，PCA）案例解析附代码 目录 展开全部 收起 上一篇： FDDL（Fisher discrimination dictionary learning）学习 下一篇： D-KSVD（Discrimination K-SVD） 分类专栏 machine-learning 2篇 dictionary learning 2篇 展开全部 收起 目录 评论 1 被折叠的  条评论 为什么被折叠? 到【灌水乐园】发言 查看更多评论 添加红包 祝福语 请填写红包祝福语或标题 红包数量 个 红包个数最小为10个 红包总金额 元 红包金额最低5元 余额支付 当前余额3.43元 前往充值 > 需支付：10.00元 取消 确定 下一步 知道了 成就一亿技术人! 领取后你会自动成为博主和红包主的粉丝 规则 hope_wisdom 发出的红包 实付元 使用余额支付 点击重新获取 扫码支付 钱包余额 0 抵扣说明： 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。 余额充值