深入剖析PCA(principal components analysis)

本文介绍了主成分分析(PCA)的基本概念及其在数据降维中的应用。PCA能够将高维数据映射到低维空间,去除冗余特征并降低过拟合风险。文中详细解释了PCA的计算步骤,并讨论了其在不同场景下的优势与局限。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 问题(为什么要使用PCA)

     真实的训练数据总是存在各种各样的问题:

1、 比如拿到一个汽车的样本,里面既有以“千米/每小时”度量的最大速度特征,也有“英里/小时”的最大速度特征,显然这两个特征有一个多余。

2、 拿到一个数学系的本科生期末考试成绩单,里面有三列,一列是对数学的兴趣程度,一列是复习时间,还有一列是考试成绩。我们知道要学好数学,需要有浓厚的兴趣,所以第二项与第一项强相关,第三项和第二项也是强相关。那是不是可以合并第一项和第二项呢?

3、 拿到一个样本,特征非常多,而样例特别少,这样用回归去直接拟合非常困难,容易过度拟合。比如北京的房价:假设房子的特征是(大小、位置、朝向、是否学区房、建造年代、是否二手、层数、所在层数),搞了这么多特征,结果只有不到十个房子的样例。要拟合房子特征->房价的这么多特征,就会造成过度拟合。

4、 这个与第二个有点类似,假设在IR中我们建立的文档-词项矩阵中,有两个词项为“learn”和“study”,在传统的向量空间模型中,认为两者独立。然而从语义的角度来讲,两者是相似的,而且两者出现频率也类似,是不是可以合成为一个特征呢?

5、 在信号传输过程中,由于信道不是理想的,信道另一端收到的信号会有噪音扰动,那么怎么滤去这些噪音呢?

     回顾我们之前介绍的《模型选择和规则化》,里面谈到的特征选择的问题。但在那篇中要剔除的特征主要是和类标签无关的特征。比如“学生的名字”就和他的“成绩”无关,使用的是互信息的方法。

     而这里的特征很多是和类标签有关的,但里面存在噪声或者冗余。在这种情况下,需要一种特征降维的方法来减少特征数,减少噪音和冗余,减少过度拟合的可能性。

     下面探讨一种称作主成分分析(PCA)的方法来解决部分上述问题。PCA的思想是将n维特征映射到k维上(k<n),这k维是全新的正交特征。这k维特征称为主元,是重新构造出来的k维特征,而不是简单地从n维特征中去除其余n-k维特征。

2、PCA计算过程

首先介绍PCA的计算过程:

假设我们得到的2维数据如下:


行代表了样例,列代表特征,这里有10个样例,每个样例两个特征。

第一步分别求x和y的平均值,然后对于所有的样例,都减去对应的均值。这里x的均值是1.81,y的均值是1.91,那么一个样例减去均值后即为(0.69,0.49),得到


第二步,求特征协方差矩阵,如果数据是3维,那么协方差矩阵是


这里只有x和y,求解得



对角线上分别是x和y的方差,非对角线上是协方差。协方差大于0表示x和y若有一个增,另一个也增;小于0表示一个增,一个减;协方差为0时,两者独立。协方差绝对值越大,两者对彼此的影响越大,反之越小。

第三步,求协方差的特征值和特征向量,得到


上面是两个特征值,下面是对应的特征向量,特征值0.0490833989对应特征向量为clip_image007[4],这里的特征向量都归一化为单位向量。

 第四步,将特征值按照从大到小的顺序排序,选择其中最大的k个,然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。

这里特征值只有两个,我们选择其中最大的那个,这里是1.28402771,对应的特征向量是clip_image009[6]

  第五步,将样本点投影到选取的特征向量上。假设样例数为m,特征数为n,减去均值后的样本矩阵为DataAdjust(m*n),协方差矩阵是n*n,选取的k个特征向量组成的矩阵为EigenVectors(n*k)。那么投影后的数据FinalData为

     clip_image011[4]

     这里是

     FinalData(10*1) = DataAdjust(10*2矩阵)×特征向量clip_image009[7]

     得到结果是


 这样,就将原始样例的n维特征变成了k维,这k维就是原始特征在k维上的投影。

3、 总结和讨论

PCA技术的一大好处是对数据进行降维的处理。我们可以对新求出的“主元”向量的重要性进行排序,根据需要取前面最重要的部分,将后面的维数省去,可以达到降维从而简化模型或是对数据进行压缩的效果。同时最大程度的保持了原有数据的信息。

 PCA技术的一个很大的优点是,它是完全无参数限制的。在PCA的计算过程中完全不需要人为的设定参数或是根据任何经验模型对计算进行干预,最后的结果只与数据相关,与用户是独立的。 

但是,这一点同时也可以看作是缺点。如果用户对观测对象有一定的先验知识,掌握了数据的一些特征,却无法通过参数化等方法对处理过程进行干预,可能会得不到预期的效果,效率也不高。


图表 4:黑色点表示采样数据,排列成转盘的形状。 容易想象,该数据的主元是clip_image077或是旋转角clip_image078

如图表 4中的例子,PCA找出的主元将是clip_image077[1]。但是这显然不是最优和最简化的主元。clip_image077[2]之间存在着非线性的关系。根据先验的知识可知旋转角clip_image078[1]是最优的主元(类比极坐标)。则在这种情况下,PCA就会失效。但是,如果加入先验的知识,对数据进行某种划归,就可以将数据转化为以clip_image078[2]为线性的空间中。这类根据先验知识对数据预先进行非线性转换的方法就成为kernel-PCA,它扩展了PCA能够处理的问题的范围,又可以结合一些先验约束,是比较流行的方法。

     有时数据的分布并不是满足高斯分布。如图表 5所示,在非高斯分布的情况下,PCA方法得出的主元可能并不是最优的。在寻找主元时不能将方差作为衡量重要性的标准。要根据数据的分布情况选择合适的描述完全分布的变量,然后根据概率分布式


来计算两个向量上数据分布的相关性。等价的,保持主元间的正交假设,寻找的主元同样要使clip_image080。这一类方法被称为独立主元分解(ICA)。


图表 5:数据的分布并不满足高斯分布,呈明显的十字星状。 
     这种情况下,方差最大的方向并不是最优主元方向。

     另外PCA还可以用于预测矩阵中缺失的元素。

4. 其他参考文献

A Tutorial on Principal Component Analysis J Shlens

5、代码

matlab 代码:https://download.youkuaiyun.com/download/zuyuhuo6777/10497736

如果你觉得该帖子帮到你了,还望贵人多多支持,鄙人会再接再厉,继续努力的






<think>好的,我现在需要回答用户关于主成分分析PCA)的概念、实现方法和应用场景的问题。首先,我得回顾一下自己了解的PCA知识,同时结合用户提供的引用内容,确保回答准确且符合要求。 用户提供的引用中有几个关键点需要注意。引用[1]提到PCA是数据降维的方法之一,引用[3]和[4]详细解释了PCA的原理,包括其作为非监督学习的方法,通过特征值分解进行数据压缩和去噪,以及主成分是原始数据的线性组合。引用[5]给出了一个使用scikit-learn实现PCA的代码示例。此外,引用[3]还提到了PCA的变种,如KPCA、增量PCA和稀疏PCA,这些可能在回答优化或应用部分有用。 首先,我需要明确用户的问题分为三个部分:概念、实现方法和应用场景。结构上应该分点回答,每个部分清晰。同时,根据系统级指令,行内数学公式需要用$...$,独立公式用$$...$$,并且正确使用LaTeX语法。还要生成相关问题,并在引用处添加标识。 概念部分,需要解释PCA的基本原理。根据引用[4],PCA是一种线性变换技术,用于降维并保留大部分信息。主成分是正交变换后的新坐标轴,是原始变量的线性组合。这里可能需要提到方差最大化,即PCA找到数据方差最大的方向作为第一主成分,后续成分与前面的正交且方差次大。需要数学表达式,比如协方差矩阵、特征值分解等。例如,协方差矩阵的计算公式,特征值和特征向量的作用。 实现方法部分,引用[5]中的代码示例是一个很好的起点。需要分步骤说明PCA的实现过程,包括数据标准化、计算协方差矩阵、特征分解、选择主成分、投影数据等步骤。同时,可以提到使用scikit-learn的PCA类简化流程。这里需要确保代码块正确,并解释关键参数如n_components。 应用场景部分,根据引用[1]、[3]、[4],PCA常用于数据压缩、可视化、去噪、特征提取等。比如在图像处理、金融数据分析、生物信息学等领域。需要具体例子,如人脸识别中的降维,或基因组数据中的特征提取。同时,引用[3]提到的变种应用场景,如KPCA处理非线性数据,可以补充说明。 在写作过程中,要检查数学公式的正确性。例如,协方差矩阵的公式是否正确,特征值分解的表示是否准确。例如,协方差矩阵的计算应该是$\frac{1}{n-1}X^TX$,其中$X$是标准化后的数据矩阵。特征分解部分,协方差矩阵分解为$W\Lambda W^T$,其中$W$是特征向量矩阵,$\Lambda$是特征值对角矩阵。 此外,需要确保每个引用标识正确对应到用户提供的引用内容。例如,提到PCA作为非监督学习的方法时引用[3],提到主成分是线性组合时引用[4],代码示例引用[5]。 生成相关问题部分,需要考虑用户可能进一步想知道的内容,比如PCA的优缺点、与其他降维方法的比较、参数选择的影响、数学推导细节等。例如,如何选择主成分的数量,PCA与LDA的区别,PCA的假设是否限制其应用等。 最后,要确保回答结构清晰,分点明确,语言通顺,符合中文习惯。同时,行内公式正确使用$符号,独立公式单独成段,并正确使用LaTeX语法,例如协方差矩阵、投影公式等。</think>### 主成分分析PCA)详解 #### 一、概念与数学原理 主成分分析PCA)是一种**非监督学习的线性降维方法**,核心是通过正交变换将高维数据映射到低维空间,同时保留最大方差信息[^3]。其数学原理包含以下关键步骤: 1. **数据标准化**:将原始数据去中心化(均值为0),公式为: $$X_{\text{norm}} = X - \mu \quad (\mu \text{为均值向量})$$ 2. **协方差矩阵计算**:标准化后的数据计算协方差矩阵: $$C = \frac{1}{n-1}X_{\text{norm}}^T X_{\text{norm}}$$ 3. **特征值分解**:对协方差矩阵$C$进行特征分解,得到特征值$\lambda_i$和对应特征向量$W$: $$C = W \Lambda W^T \quad (\Lambda \text{为特征值对角矩阵})$$ 4. **主成分选择**:按特征值从大到小排序,选取前$k$个特征向量构成投影矩阵$W_k$,将原始数据投影到低维空间: $$Z = X_{\text{norm}} W_k$$ 每个主成分对应一个特征向量,其重要性由特征值$\lambda_i$衡量,方差贡献率为$\lambda_i / \sum \lambda_i$[^4]。 --- #### 二、实现方法(Python示例) 使用`scikit-learn`实现PCA的完整流程: ```python from sklearn.decomposition import PCA from sklearn.preprocessing import StandardScaler # 数据标准化(PCA前必须) scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 初始化PCA并降维 pca = PCA(n_components=2) # 指定保留2个主成分 X_pca = pca.fit_transform(X_scaled) # 查看方差贡献率 print("方差贡献率:", pca.explained_variance_ratio_) ``` **关键参数说明**: - `n_components`:可设为整数(目标维度)或小数(保留方差的百分比,如0.95) - `svd_solver`:优化算法选择(如`auto`, `full`, `randomized`) --- #### 三、应用场景 1. **数据可视化**:将高维数据降至2D/3D,便于绘制散点图观察分布。 2. **特征压缩**:减少图像、语音等数据的存储和计算成本[^4]。 3. **去噪与预处理**:通过保留主成分过滤噪声,提升模型鲁棒性。 4. **多变量分析**:在金融领域分析股票收益率的关联性,或在生物信息学中处理基因表达数据[^1][^4]。 **案例**: 在人脸识别中,PCA可将数万像素的图片降至几十个主成分(特征脸),显著提升分类效率。 --- #### 四、优化与限制 - **优化方法**: - **核PCA(KPCA)**:通过核函数处理非线性数据。 - **增量PCA**:适用于内存不足的大数据集[^3]。 - **局限性**: - 主成分的可解释性较弱(线性组合可能缺乏物理意义)。 - 对异常值敏感,需提前标准化处理。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值