主成分分析的（Principal Components Analysis，PCA)多角度解析

1.问题的提出

PCA算法作为经典的机器学习算法，从提出到如今的几十年历史中，其所蕴含的思想一直伴随着机器学习算法的发展。这里我们从不同的角度探讨PCA能够图像用于的图像去噪、压缩和特征提取的数学原理和所包含的的物理含义。例如：（1）为何PCA对包含较小方差的高斯噪声图像具有较好去噪能力？（2）RPCA为何能够改进PCA在去噪时的缺陷？（3）为何PCA采用样本的协方差矩阵的前$k$个特征向量矩阵构造投影空间？

（1）特征提取
随着互联网的普及，人们所接触的数据量正以成千上万的倍数增长，自然而然产生了一个问题，在海量数据面前，我们能如何提取出关键的信息用以减少所需处理数据量，提升效率。以淘宝平台上品牌手机日记录数据为例：

手机品牌	浏览量	访客数	下单数	成交数	成交金额
华为	$N_1$ $F_1$ $X_1$ $C_1$ $J_1$ 小米 $N_2$ $F_2$ $X_2$ $C_2$ $J_2$ iphone $N_3$ $F_3$ $X_3$ $C_3$ $J_3$ 三星 $N_4$ $F_4$ $X_4$ $C_4$ $J_4$ 魅族 $N_5$ $F_5$ $X_5$ $C_5$ $J_5$ 从表中可知，下单数、成交数和成交金额，浏览量和访客量为强相关。于是上述5维的数据能够利用2维的数据较为准确的表示出来，PCA通过空间投影的方法解决了上述问题。 （2）图像去噪 加性噪声定义式： $${\text{L = A + E}}\begin{array}{*{20}{c}}{}&{}&{}&{\left( 1 \right)} \end{array}$$ 其中，$L$为污染图，$A$为纯净图,且为low-rank矩阵，$E$为噪声图像，且为稀疏矩阵。 PCA算法去噪的目标模型为： $$\mathop {\min }\limits_A \left\| {L - A} \right\|_2^2\begin{array}{*{20}{c}} {}&{}&{s.t{\kern 1pt} {\kern 1pt} {\kern 1pt} rank(A)\leqslant k} \end{array}\begin{array}{*{20}{c}} {}&{}&{}&{\left( 2 \right)} \end{array}$$ 通过优化目标函数，获得去噪图像。值得一提的是噪声矩阵$E$中的元素的分布必须是方差较小的高斯分布，即噪声矩阵为高斯矩阵。此处存在两个疑问：在利用PCA算法用于去噪时（1）为何噪声矩阵的方差较小，（2）为何噪声矩阵必须为高斯矩阵，都将会在下文中一一解释。 2.PCA的求解过程 步骤一：提取多幅图像的特征向量，组合而成特征矩阵$Y = \left( {{y_1},{y_2}, \cdot \cdot \cdot ,{y_n}} \right) \in {R^{m \times n}}$。 步骤二：获得特征矩阵$Y$的协方差矩阵$M$，将协方差矩阵进行特征值分解，并提取按从大到小排序的特征值所对应的前$k$个特征向量组成特征向量矩阵$P \in {R^{n \times k}}$。 步骤三：将特征矩阵$Y$向特征向量矩阵$P$张成的投影空间中投影，获得投影特征$X \in {R^{m \times k}}$，即$X = YP,k<<n$. 由上述步骤可知获得投影特征$X$的维数远远小于特征矩阵$Y$的维数。从特征提取的角度来看，可以认为PCA算法提取出了特征矩阵中其主要贡献的信息（通过特征值大小衡量），从图像去噪的角度看，PCA算法提取出了主要信息而忽略的信息可以认为是噪声。 PCA算法的求解关键在于投影空间的选取，即投影矩阵的获得，于是我们会有疑问：为什么选择样本协方差矩阵的特征向量构造投影矩阵？首先，我们知道投影空间选取的一般原则可归纳为：（1）投影特征在投影空间中应尽可能的分散，相似性较低，以保证投影特征包含更充分的信息，同时也能降低投影矩阵的维数；（2）投影矩阵应与原特征矩阵尽可能的接近，以减少信息的丢失。基于上述原则 PCA算法可以从最大方差理论，PCA算法的最小平方误差理解，继而推导出投影矩阵的最优形式（为了直观与方便，下文以二维情况为例进行讲解）。 3.PCA的最大方差理论解释 信号处理中认为信号具有较大的方差，噪声有较小的方差。 确定要放弃本次机会？ 福利倒计时 : : 立减 ¥ 普通VIP年卡可用 立即使用 PRIP 关注 关注 1 点赞 踩 4 收藏 觉得还不错? 一键收藏 知道了 1 评论 分享 复制链接 分享到 QQ 分享到新浪微博 扫一扫 举报 举报 专栏目录 信号滤波：使用主成分分析（PCA）进行信号处理 EgwEditor的博客 09-19 861 在上述代码中，我们首先生成了一个示例信号，其中包含了一个主要成分和一个次要成分，并添加了高斯噪声。然后，我们使用PCA对信号进行降维，将其滤波为只包含最重要的成分。在本文中，我们将探讨如何使用PCA进行信号滤波，并提供相应的源代码示例。信号滤波是一种常见的信号处理任务，旨在去除信号中的噪声或不需要的成分，以提取出感兴趣的信息。PCA是一种统计学方法，可用于找到信号中的主要成分，并将其与次要成分分离开来。使用PCA进行信号滤波的关键步骤是将信号转换为矩阵形式，并选择适当的主成分数量。 主成分分析（PCA）和独立成分分析（ICA）在统计学和机器学习领域中被广泛应用于数据分析和信号处理 ByteKnight的博客 09-03 325 以上代码首先对数据进行中心化处理，然后进行白化处理，即将数据的协方差矩阵变为单位矩阵。主成分按照方差的大小排列，第一个主成分具有最大方差，第二个主成分具有次大方差，以此类推。这样，通过保留较高方差的主成分，可以实现数据的降维。本文介绍了主成分分析（PCA）和独立成分分析（ICA）的基本原理，并提供了使用Matlab实现的示例代码。PCA用于降低数据维度和提取数据的主要特征，而ICA用于从混合信号中恢复出原始信号。最后，将数据投影到选择的主成分上，得到降维后的数据。二、独立成分分析（ICA） 1 条评论 您还未登录，请先 登录 后发表或查看评论 主成分分析 PCA | Principal Components Analysis JasonH2021的博客 06-03 3937 本文主要简单介绍了主成分分析的基本概念，优缺点，应用场景，建模时的注意事项，实现方法和模型参数等。 主成分分析 PCA m0_63918510的博客 12-27 958 它的主要目标是找到数据中的主要特征或主成分，通过保留最重要的信息降低数据的维度，同时尽量减少信息损失。这些方法可以根据数据的特点和需求选择合适的维度约减方法，并根据数据的性质减少特征维度，以便更好地分析和处理数据。PCA的核心方法是通过对数据的协方差矩阵进行特征值分解，获得特征值和特征向量，进而选择主成分进行数据投影，实现维度的约减。2. 维度灾难：随着维度的增加，数据空间变得非常大，而训练集的样本数量往往远远不够填满这个空间，因此导致了维度灾难问题，即数据的稀疏性增加，模型的泛化能力下降。 【图像去噪】基于matlab高斯+低通+巴特沃斯滤波虹膜图像滤波【含Matlab源码 501期】 订阅付费专栏Matlab（奶茶价版），可赠送奶茶价版付费专栏指定代码1份； 03-12 5759 高斯+低通+巴特沃斯滤波虹膜图像滤波 完整代码，直接运行，适合小白！可提供运行操作视频！ GEE：主成分分析（Principal components analysis，PCA） 养乐多的博客 04-04 2278 本文将介绍主成分分析（Principal components analysis，PCA）原理和在Google Earth Engine（GEE）平台上应用 PCA 算法的代码和案例。并应用于 Landsat 数据可见光波段和生态遥感指数（RSEI） 案例中。并介绍如何针对一副影像、一个影像集合进行 PCA 分析，文中对 PCA 的计算过程进行了封装，只需要调用 imagePCA(imageCollection, imageBands) 函数，即可得到影像的主要成分分量，并输出特征值和特征向量。可以输出多个 机器学习——主成分分析PCA（Principal Component Analysis） weixin_74340055的博客 06-24 1202 PCA（Principal Component Analysis，主成分分析）是一种无监督学习的降维方法。它基于一个简单的前提：一个高维数据集可能包含许多冗余或相关的特征，而这些特征可能并不都包含有价值的信息。PCA的目标是通过线性变换找到数据的主要成分，即数据的最大方差方向，并将数据投影到这些主要成分上，从而在保持数据的主要特性的同时降低数据的维度。通过本次实验，我们验证了PCA在人脸识别特征降维中的有效性。 主成分分析(PCA) blinkyou001的博客 08-11 1万+ 本文讲解了主成分分析（PCA）的基本原理，并利用python进行了实例演示。 主成分分析(Principal components analysis)(Python) 05-31 主成分分析(Principal components analysis)是最常用的降维方法 算法步骤： （1）对所有样本进行中心化操作 （2）计算样本的协方差矩阵 （3）对协方差矩阵做特征值分解 （4）取最大的d个特征值对应的特征向量，构造... 主成分分析 (Principal Components Analysis, PCA) wf4csdn的博客 08-09 291 通过降维 (Dimensionality Reduction)，实现数据压缩以减少计算、存储成本，或实现数据可视化以直观了解数据。1. 数据预处理特征缩放及标准化 (feature scaling / mean normalization)： x(i)j=x(i)j−μjsjx^{(i)}_j=\frac{x^{(i)}_j-\mu_j}{s_j}其中 μj=1m∑i=1mx(i)j\mu_j= Principal components analysis(PCA)--主成分分析1.0 weixin_59250115的博客 01-21 675 在多元统计分析中，主成分分析（英语：PCA）是一种统计分析、简化数据集的方法。它利用正交变换来对一系列可能相关的变量的观测值进行线性变换，从而投影为一系列线性不相关变量的值，这些不相关变量称为主成分（Principal Components）。具体地，主成分可以看做一个线性方程，其包含一系列线性系数来指示投影方向。PCA对原始数据的正则化或预处理敏感（相对缩放）。简单来说（用人话来说），PCA是一项流行的用于数据降维的技术，并在降维的同时尽可能得保持数据原有的特征。 PCA(主分量分析法） weixin_34101784的博客 10-29 387 协方差矩阵——PCA的关键。  　　　PCA的目的就是“降噪”和“去冗余”。“降噪”的目的就是使保留下来的维度间的相关性尽可能小，而“去冗余”的目的就是使保留下来的维度含有的“能量”即方差尽可能大。那首先的首先，我们得需要知道各维度间的相关性以及个维度上的方差！那有什么数据结构能同时表现不同维度间的相关性以及各个维度上的方差呢？自然是非协方差矩阵莫属。回忆下《浅谈协方差矩阵》的内容，协方差矩阵度... 主成分分析（Principal Components Analysis, PCA） XY的博客 05-01 520 有效解决问题的前提是选择一个看待问题的好视角，使问题展现其最清晰简单的一面。所谓主成分分析，就是选择一个可以将各待分析样本显著区分开的视角。 标准主元分析法（Principal Component Analysis，PCA） cxtsinghua的博客 09-14 660 提示：这里可以添加本文要记录的大概内容：提示：以下是本篇文章正文内容，下面案例可供参考PCA可用于数据压缩、噪声过滤、可视化、特征选择等多个领域。它可以帮助降低数据维度，减少计算复杂性，同时保留数据中的重要信息。 ArcGIS教程：主成分分析 07-16 1万+ 对一组栅格波段执行主成分分析 (PCA) 并生成单波段栅格作为输出。 数据净化的 “魔法滤镜”：PCA 如何实现降维与降噪的双重蜕变【PCA系列（四）在数据降噪中的应用】 最新发布 weixin_73784131的博客 04-24 899 从理论原理到实战应用，PCA 凭借其独特的降维机制，成为数据降噪的有效工具。通过手写数字数据集的实例，我们直观看到了它净化数据的强大能力。在面试与实际工作中，深入理解 PCA 降噪的原理、参数选择及与其他方法的差异，能帮助我们更好地应对数据处理挑战。无论是面对图像中的噪点，还是高维数据中的干扰，PCA 都如同数据世界的 “魔法滤镜”，让数据的本质特征清晰呈现。 主成分分析（PCA）原理详解 热门推荐 李春春的专栏 03-04 46万+ 机器学习中有关特征选择的问题，其实就是要剔除和类标签无关的特征，去除噪声或者冗余。在这种情况下，需要一种特征降维的方法来减少特征数，减少噪音和冗余，减少过度拟合的可能性。PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。现在的问题是，对于很高维数据，你能想象其分布吗？就算能描述分布，如何精确地找到这些主成分的轴？如何衡量你提取的主成分到底占了整个数据的多少信息？所以，我们就要用到主成分分析的处 信号处理笔记（2）PCA独立成分分析 weixin_47750895的博客 08-11 1007 一、 降维 在许多机器学习或者信号处理问题中都会涉及大量特征，特征数量过多会导致训练速度缓慢，难以找到解决方案。因此我们可以采用降维手段，降维虽然会丢失一些信息，但可以加快训练速度。在微弱信号检测提取上有重要作用意义。 目前数据两种降维方式——投影和流行。 二、 主成分分析 主成分分析（PCA）是目前最流行的降维技术，属于投影方式。 它是通过寻找某种空间上的正交变换，将高维数据映射到低维空间中，或者理解为低维坐标。并使其在所投影的空间或坐标上有最大方... 主成分分析（Principal Component Analysis，PCA 03-27 好的，我现在需要回答用户关于主成分分析（PCA）的概念、实现方法和应用场景的问题。首先，我得回顾一下自己了解的PCA知识，同时结合用户提供的引用内容，确保回答准确且符合要求。 用户提供的引用中有几个关键点... PRIP 博客等级 码龄10年 3 原创 12 点赞 46 收藏 6 粉丝 关注 私信 TA的精选 新 D-KSVD（Discrimination K-SVD） 3608 阅读 热 FDDL（Fisher discrimination dictionary learning）学习 10986 阅读 2017年2篇 2016年1篇 分类专栏 machine-learning 2篇 dictionary learning 2篇 上一篇： FDDL（Fisher discrimination dictionary learning）学习 下一篇： D-KSVD（Discrimination K-SVD） 目录 展开全部 收起 目录 展开全部 收起 上一篇： FDDL（Fisher discrimination dictionary learning）学习 下一篇： D-KSVD（Discrimination K-SVD） 分类专栏 machine-learning 2篇 dictionary learning 2篇 展开全部 收起 目录 评论 1 被折叠的  条评论 为什么被折叠? 到【灌水乐园】发言 查看更多评论 添加红包 祝福语 请填写红包祝福语或标题 红包数量 个 红包个数最小为10个 红包总金额 元 红包金额最低5元 余额支付 当前余额3.43元 前往充值 > 需支付：10.00元 取消 确定 下一步 知道了 成就一亿技术人! 领取后你会自动成为博主和红包主的粉丝 规则 hope_wisdom 发出的红包 实付元 使用余额支付 点击重新获取 扫码支付 钱包余额 0 抵扣说明： 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。 余额充值