PCA原理

最新推荐文章于 2022-12-11 14:12:24 发布
转载 最新推荐文章于 2022-12-11 14:12:24 发布 · 6.9k 阅读 · 15
文章标签：

#测试 #2010

本文详细介绍了PCA（主成分分析）的基本原理及其在数据降维中的应用。通过具体实例展示了如何利用PCA找到数据中的主要成分，并减少特征维度，提高计算效率。此外，还提供了OpenCV中实现PCA的具体步骤。

PCA是主成分分析，主要用于数据降维，对于一系列sample的feature组成的多维向量，多维向量里的某些元素本身没有区分性，比如某个元素在所有的sample中都为1，或者与1差距不大，那么这个元素本身就没有区分性，用它做特征来区分，贡献会非常小。所以我们的目的是找那些变化大的元素，即方差大的那些维，而去除掉那些变化不大的维，从而使feature留下的都是“精品”，而且计算量也变小了。

对于一个k维的feature来说，相当于它的每一维feature与其他维都是正交的（相当于在多维坐标系中，坐标轴都是垂直的），那么我们可以变化这些维的坐标系，从而使这个feature在某些维上方差大，而在某些维上方差很小。例如，一个45度倾斜的椭圆，在第一坐标系，如果按照x,y坐标来投影，这些点的x和y的属性很难用于区分他们，因为他们在x,y轴上坐标变化的方差都差不多，我们无法根据这个点的某个x属性来判断这个点是哪个，而如果将坐标轴旋转，以椭圆长轴为x轴，则椭圆在长轴上的分布比较长，方差大，而在短轴上的分布短，方差小，所以可以考虑只保留这些点的长轴属性，来区分椭圆上的点，这样，区分性比x,y轴的方法要好！

所以我们的做法就是求得一个k维特征的投影矩阵，这个投影矩阵可以将feature从高维降到低维。投影矩阵也可以叫做变换矩阵。新的低维特征必须每个维都正交，特征向量都是正交的。通过求样本矩阵的协方差矩阵，然后求出协方差矩阵的特征向量，这些特征向量就可以构成这个投影矩阵了。特征向量的选择取决于协方差矩阵的特征值的大小。

举一个例子：

对于一个训练集，100个sample，特征是10维，那么它可以建立一个100*10的矩阵，作为样本。求这个样本的协方差矩阵，得到一个10*10的协方差矩阵，然后求出这个协方差矩阵的特征值和特征向量，应该有10个特征值和特征向量，我们根据特征值的大小，取前四个特征值所对应的特征向量，构成一个10*4的矩阵，这个矩阵就是我们要求的特征矩阵，100*10的样本矩阵乘以这个10*4的特征矩阵，就得到了一个100*4的新的降维之后的样本矩阵，每个sample的维数下降了。

当给定一个测试的特征集之后，比如1*10维的特征，乘以上面得到的10*4的特征矩阵，便可以得到一个1*4的特征，用这个特征去分类。

所以做PCA实际上是求得这个投影矩阵，用高维的特征乘以这个投影矩阵，便可以将高维特征的维数下降到指定的维数。

在opencv里面有专门的函数，可以得到这个这个投影矩阵（特征矩阵）。

void cvCalcPCA( const CvArr* data, CvArr* avg, CvArr* eigenvalues, CvArr* eigenvectors, int flags );





在OPENCV中使用PCA非常简单，只要几条语句就可以了。
1、初始化数据
//每一行表示一个样本
CvMat* pData = cvCreateMat( 总的样本数, 每个样本的维数, CV_32FC1 );
CvMat* pMean = cvCreateMat(1, 样本的维数, CV_32FC1);
//pEigVals中的每个数表示一个特征值
CvMat* pEigVals = cvCreateMat(1, min(总的样本数,样本的维数), CV_32FC1);
//每一行表示一个特征向量
CvMat* pEigVecs = cvCreateMat( min(总的样本数,样本的维数), 样本的维数, CV_32FC1);
2、PCA处理,计算出平均向量pMean,特征值pEigVals和特征向量pEigVecs
cvCalcPCA( pData, pMean, pEigVals, pEigVecs, CV_PCA_DATA_AS_ROW );
3、选出前P个特征向量(主成份),然后投影,结果保存在pResult中，pResult中包含了P个系数
CvMat* pResult = cvCreateMat( 总的样本数, PCA变换后的样本维数(即主成份的数目), CV_32FC1 );
cvProjectPCA( pData, pMean, pEigVecs, pResult );
4、 重构,结果保存在pRecon中
CvMat* pRecon = cvCreateMat( 总的样本数, 每个样本的维数, CV_32FC1 );
cvBackProjectPCA( pResult, pMean, pEigVecs, pRecon );
5、重构误差的计算
计算pRecon和pData的"差"就可以了.
使用时如果是想用PCA判断“是非”问题，则可以先用正样本计算主成分，判断时，对需要判断得数据进行投影，然后重构，计算重构出的数据与原数据的差异，如果差异在给定范围内，可以认为“是”。
如果相用PCA进行分类，例如对数字进行分类，则先用所有数据（0-9的所有样本）计算主成分，然后对每一类数据进行投影，计算投影的系数，可简单得求平 均。即对每一类求出平均系数。分类时，将需要分类得数据进行投影，得到系数，与先前计算出得每一类得平均系数进行比较，可判为最接近得一类。当然这只是最 简单得使用方法。

参考：
http://www.cnblogs.com/cvlabs/archive/2010/05/14/1735230.html




 


                

        

    



  



    



                



	

		

			

				
					
主成分分析（PCA）原理详解

				
			

			

				

					李春春的专栏
				

				

					03-04
					
					46万+
					
				

			

		

		

			
				
机器学习中有关特征选择的问题，其实就是要剔除和类标签无关的特征，去除噪声或者冗余。在这种情况下，需要一种特征降维的方法来减少特征数，减少噪音和冗余，减少过度拟合的可能性。PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。现在的问题是，对于很高维数据，你能想象其分布吗？就算能描述分布，如何精确地找到这些主成分的轴？如何衡量你提取的主成分到底占了整个数据的多少信息？所以，我们就要用到主成分分析的处

			
		

	



                

            
              



	

		

			

				
					
第（四）篇：PCA的原理

				
			

			

				

					weixin_49927325的博客
				

				

					07-14
					
					609
					
				

			

		

		

			
				
PCA是如何实现的
主成分分析提出了几个重要的假设，需要牢记。其中包括：

大的方差代表高信噪比
数据是标准化的，以便在不同的特征之间进行比较
线性变换捕获数据的相关方面
超过第一个和第二个状态的高阶统计量无关紧要，这意味着数据具有正态分布

对一阶矩和二阶矩的强调与标准风险/收益指标一致，但正态性假设可能与市场数据的特征相冲突。
该算法通过寻找向量来创建目标维数的超平面，该超平面以数据点到平面的距离平方和来度量，从而使重建误差最小化。如上所示，该目标对应于在确保所有主分量相互正交的同时，找到与给定其他分量

			
		

	



              


  
              

                


	

		

			

				
					
PCA原理详解

				
			

			

				

					qq_35877530的博客
				

				

					05-23
					
					975
					
				

			

		

		

			
				
PCA原理欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
欢迎使用Markdow...

			
		

	





	

		

			

				
					
OPENCV中的PCA使用

				
			

			

				

					landsuper的专栏
				

				

					07-26
					
					5284
					
				

			

		

		

			
				
对于PCA，一直都是有个概念，没有实际使用过，今天终于实际使用了一把，发现PCA还是挺神奇的。 在OPENCV中使用PCA非常简单，只要几条语句就可以了。1、初始化数据 //每一行表示一个样本 CvMat* pData = cvCreateMat( 总的样本数, 每个样本的维数, CV_32FC1 ); CvMat* pMean = cvCreateMat(1, 样本的维数, CV_32FC1); //pEigVals中的每个数表示一个特征值 CvMat* pEigVals = cvCreateMat(1,

			
		

	



		

			
		



	

		

			

				
					
PCA原理分析

				
			

			

				

					weixin_33883178的博客
				

				

					07-22
					
					164
					
				

			

		

		

			
				
动机
在机器学习领域中，我们常常会遇到维数很高的数据，有些数据的特征维度高达上百万维，很显然这样的数据是无法直接计算的，而且维度这么高，其中包含的信息一定有冗余，这时就需要进行降维，总的来说，我们降维的主要目的有如下几条:

在原始的高维空间中，包含有冗余信息以及噪音信息，在实际应用例如图像识别中造成了误差，降低了准确率；而通过降维,我们希望减少冗余信息所造成的误差,提高识别(或其他应用)的...

			
		

	





	

		

			

				
					
PCA.zip_PCA原理

				
			

			

				

					09-14
				

			

		

		

			
				
下面将详细介绍PCA的基本原理。  PCA的目标是找到一个新的坐标系，使得原始数据在这个新的坐标系下的投影具有最大的方差。换句话说，它寻找数据点在新坐标系中的主要方向，这些方向被称为“主成分”。通过保留这些...

			
		

	





	

		

			

				
					
PCA.rar_PCA原理_pca降维

				
			

			

				

					09-21
				

			

		

		

			
				
PCA（主成分分析，Principal Component Analysis）是一种广泛应用的数据分析方法，尤其在高维数据处理中。它通过线性变换将原始数据转换成一组各维度线性无关的表示，即主成分，同时最大化新变量（主成分）的方差，...

			
		

	





	

		

			

				
					
核PCA原理解析1

				
			

			

				

					08-03
				

			

		

		

			
				
PCA，即主成分分析，是一种常见的数据分析方法，用于降维和发现数据的主要结构。然而，PCA在处理非线性数据时表现出局限性，因为它假设数据在原始空间中的线性关系在高维空间中仍然保持。这限制了PCA在处理具有复杂...

			
		

	





	

		

			

				
					
PCA原理及OpenCV实现

				
			

			

				

					m0_71272694的博客
				

				

					12-11
					
					571
					
				

			

		

		

			
				
关于PCA的理论与公式推导网络上很多，尴尬的是本人功底有限，理论方面这里就不列出啦。下面主要从Opencv应用的角度大概来讲讲自己对PCA具体怎么实现数据集降维的理解。1、把原始数据中每个样本用一个向量表示，然后把所有样本组合起来构成一个矩阵，避免样本的单位的影响，样本集需要标准化。2、求该矩阵的协方差矩阵。(关于协方差矩阵的理解大家可以看看这篇文章)3、求步骤2中得到的协方差矩阵的特征值和特征向量。

			
		

	





	

		

			

				
					
opencvPCA应用例子

				
			

			

				

					12-01
				

			

		

		

			
				
，在vs2010上用opencv2.4.10与c++编写了一个pca特征提取程序

			
		

	





	

		

			

				
					
PCA数学原理详解

				
			

			

				

					06-16
				

			

		

		

			
				
PCA是一种常用的数据降维方法，这里具体介绍了它的降维原理即降维的数学原理，通过这个学习我们能更好的了解PCA

			
		

	





	

		

			

				
					
PCA 原理

				
			

			

				

					小白水手的博客
				

				

					06-08
					
					438
					
				

			

		

		

			
				
摘自here

1.数据向量表示及降维问题


  举个例子: 
  假如某学籍数据有两列M和F，其中M列的取值是如何此学生为男性取值1，为女性取值0；而F列是学生为女性取值1，男性取值0。此时如果我们统计全部学籍数据，会发现对于任何一条记录来说，当M为1时F必定为0，反之当M为0时F必定为1。在这种情况下，我们将M或F去掉实际上没有任何信息的损失，因为只要保留一列就可以完全还原另一列。


只是...

			
		

	





	

		

			

				
					
PCA基本原理

				
			

			

				

					Steve Wang's blog
				

				

					11-08
					
					214
					
				

			

		

		

			
				
PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。

PCA求解方法：

对样本数据进行中心化处理
求样本协方差矩阵
对协方差矩阵进行特征分解，将特征值从大到小排列
取特征值前ddd大对应的特征向量ω1,ω2,...,ωd\omega_1,\omega_2,...,\omega_dω1​,ω2​,...,ωd​，通过以下映射将nnn维样本映射到ddd维

xi′=[ω1Tx1ω2Tx2...ωddxd]x_i^{'}=\left[\begin{array}{cc}
   \o.

			
		

	





	

		

			

				
					
pca原理

					
最新发布

				
			

			

				

					10-12
				

			

		

		

			
				
<think>首先，用户的问题是关于主成分分析（PCA）的原理。系统级指令要求我使用中文回答，结构清晰，帮助用户逐步解决问题，并保证回答真实可靠。还需要遵循LaTeX语法规则：行内数学表达式用$...$，独立公式用$$...$$并单独成段。

用户提供的引用包括：
- [^1]：PCA的目标是通过线性投影将高维数据映射到低维空间，最大化方差。
- [^2]：PCA的未来发展和常见问题，如选择主成分数目。
- [^3]：PCA是统计学方法，用于降维，通过线性变换最大化方差。
- [^4]：PCA是无监督学习，用于降维，加速训练，可视化。
- [^5]：PCA的原理详解，包括特征值分解和SVD分解的例子。

用户上一次的问题是系统级指令示例，但我需要参考之前的互动。在这个对话中，用户之前没有其他问题；这是第一个问题，所以我直接针对这个回答。

关键点：用户说“参考站内引用”，但这不是用户真正的需求；我应该基于提供的引用和用户的问题来回答。用户问题是：“我想了解主成分分析（PCA）的原理 请问主成分分析（PCA）的原理”。

所以，回答应该聚焦在解释PCA的原理上，使用中文，结构清晰，逐步解释。

PCA的原理核心步骤：
1. **数据标准化**：通常将数据均值归一化（中心化），使均值为0。
2. **计算协方差矩阵**：描述数据特征之间的相关性。
3. **计算特征值和特征向量**：通过特征值分解或SVD分解协方差矩阵。
4. **选择主成分**：基于特征值大小排序，选择最大的k个特征值对应的特征向量作为主成分。
5. **投影数据**：将原始数据投影到这些主成分上，得到降维后的数据。

数学部分需要使用LaTeX：
- 行内：如$ \mathbf{X} $ 表示数据矩阵。
- 独立公式：如协方差矩阵计算或特征值方程。

结构化回答：
- 介绍PCA的基本概念。
- 详细步骤解释原理。
- 可能包括一个简单例子或示意图。
- 最后，生成相关问题，如系统指令要求。

生成相关问题：指令说“生成相关问题”，在示例中是“§§相关问题§§”部分。

引用标识：在回答中引用段落末尾自然地添加引用标识，如[^1]、[^2]。我需要基于用户提供的引用粘贴内容，但用户说“上述引用仅供参考”，所以我可以引用但不强制。

用户提供的引用内容：
- [^1]：PCA定义和目标。
- [^2]：未来方向和FAQ。
- [^3]：PCA是统计学方法，用于降维。
- [^4]：PCA是无监督学习。
- [^5]：具体例子和计算。

在回答中，我可以引用这些来解释原理。例如，提到最大化方差时引用[^1]。

回答结构：
- 开头解释PCA是什么。
- 逐步讲解原理步骤。
- 使用数学公式。
- 结尾生成相关问题。

确保语言流畅，中文。
</think>### 主成分分析（PCA）的原理详解

主成分分析（PCA）是一种无监督学习的线性降维方法，旨在通过线性变换将高维数据投影到低维空间，同时最大化投影后数据的方差（即保留最多的信息）。PCA的核心思想是：找到一个新的坐标系（由主成分定义），使得数据在这个新坐标系下的方差最大，从而捕捉数据的主要变化模式，去除冗余和噪声。PCA常用于数据可视化、特征提取和加速机器学习模型训练[^1][^4]。

下面，我将逐步解释PCA的原理和关键步骤，确保结构清晰。整个过程基于数学推导，包括数据标准化、协方差矩阵计算、特征值分解或奇异值分解（SVD），以及数据投影。

#### 1. **数据标准化（中心化）**  
PCA的第一步是将原始数据标准化，确保每个特征的均值为0。这有助于消除量纲影响，使后续计算更稳定。假设我们有一个数据矩阵 $\mathbf{X} \in \mathbb{R}^{m \times n}$，其中 $m$ 是样本数，$n$ 是特征数（维度）。中心化公式为：
$$
\mathbf{X}_{\text{centered}} = \mathbf{X} - \mathbf{\mu}
$$
其中 $\mathbf{\mu}$ 是每个特征的均值向量（即 $\mu_j = \frac{1}{m} \sum_{i=1}^{m} x_{ij}$）。这样处理后，数据在每个维度上的均值都为0[^3][^5]。

#### 2. **计算协方差矩阵**  
协方差矩阵描述了特征之间的线性相关性，其元素表示两个特征之间的协方差。计算公式为：
$$
\mathbf{C} = \frac{1}{m-1} \mathbf{X}_{\text{centered}}^T \mathbf{X}_{\text{centered}}
$$
这里，$\mathbf{C} \in \mathbb{R}^{n \times n}$ 是一个对称矩阵，对角线元素是每个特征的方差，非对角线元素是协方差。最大化方差的目标体现在最大化协方差矩阵的特征值上[^1][^5]。

例如，在引用[^5]中，给定一个2行5列的矩阵 $\mathbf{X} = \begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}$，由于每行均值已为0，协方差矩阵计算为：
$$
\mathbf{C} = \frac{1}{5} \begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix} \begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}^T = \begin{pmatrix} \frac{6}{5} & \frac{4}{5} \\ \frac{4}{5} & \frac{6}{5} \end{pmatrix}
$$

#### 3. **特征值分解或奇异值分解（SVD）**  
PCA的关键是求解协方差矩阵的特征值和特征向量。特征向量表示主成分的方向（即新坐标系的轴），特征值表示数据在该方向上的方差大小。分解公式为：
$$
\mathbf{C} \mathbf{v} = \lambda \mathbf{v}
$$
其中 $\lambda$ 是特征值，$\mathbf{v}$ 是特征向量。特征值越大，表示该方向上的方差越大，因此保留的信息越多[^3][^5]。

在实际计算中，PCA常使用SVD（奇异值分解）替代特征值分解，因为它更稳定（尤其对于大数据集）。SVD将中心化数据矩阵分解为：
$$
\mathbf{X}_{\text{centered}} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T
$$
其中 $\mathbf{V}$ 的列向量就是主成分（特征向量），$\mathbf{\Sigma}$ 的对角线元素是奇异值（平方后与特征值成正比）[^5]。

#### 4. **选择主成分数目（降维维度 $k$）**  
主成分数目 $k$ 决定了降维后的维度。选择依据是保留足够的信息量（通常95%以上方差）。特征值按降序排序 $\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_n$，累积方差比例为：
$$
\text{累积方差} = \frac{\sum_{i=1}^{k} \lambda_i}{\sum_{i=1}^{n} \lambda_i}
$$
例如，若 $k=1$ 时累积方差达到85%，则选择第一个主成分。$k$ 的选择需权衡信息保留和降维效果[^2][^4]。

#### 5. **投影数据到主成分空间**  
最后，将原始数据投影到选定的主成分上，得到降维后的数据矩阵 $\mathbf{Y} \in \mathbb{R}^{m \times k}$：
$$
\mathbf{Y} = \mathbf{X}_{\text{centered}} \mathbf{V}_k
$$
其中 $\mathbf{V}_k$ 是前 $k$ 个特征向量组成的矩阵。新数据 $\mathbf{Y}$ 在低维空间保留了最大方差，实现了降维[^1][^3]。

#### 原理总结
PCA通过最大化方差来提取数据的主成分，本质上是求解协方差矩阵的特征问题。该方法假设数据是线性的，且主成分互不相关（正交）。PCA的优势在于简单高效，但缺点是对非线性数据效果较差，且降维可能导致信息损失（需控制损失阈值）[^4][^2]。



			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值