PCA降维的推导（超详细）

最新推荐文章于 2025-05-12 17:26:46 发布
原创 最新推荐文章于 2025-05-12 17:26:46 发布 · 1.3k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #算法

本文介绍了PCA（主成分分析）作为一种常见的数据降维方法，通过找出数据的主要特征，减少冗余，优化数据表示。文章详细阐述了PCA的数学推导过程，包括中心化、协方差矩阵、特征值和最大特征值的寻找，以及降维的实际步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

前言

什么是PCV降维

应用场景

PCA的数学推导

PCA降维的过程

PCA的流程

前言

什么是PCV降维

PCA（Principal Component Analysis）是一种常用的降维技术，即将高维数据转换为低维数据的方法。通俗地说，PCA降维就是通过找到数据中的主要特征，并将其用较少的特征来表示，从而减少数据的维度。

下图为例，所有的数据是分布在三维空间中，PCA将三维数据映射到二维平面u，二维平面由向量<u1,u2>表示，u1与u2垂直

应用场景

假设你有一个数据集，它有很多特征（维度），比如说100个。但是你发现这些特征之间可能存在冗余或者相关性，有些特征对数据的贡献可能不是很大。在这种情况下，你可以使用PCA来降低数据的维度。

PCA的数学推导

假设对n个样本x_{i}进行PCA处理，先对数据进行中心化，即将数据的均值变为0（为了后面计算的方便，不用减去mean）

则数据集的协方差矩阵为：

由于上面已经将数据中心化\mu _{i},\mu _{j}均为0，所以这里的协方差可以简化为下面的式子

PCA的主要目的是找到一个线性变换，让数据投影的方差最大化

内基的补充

假设找到线性变化\mu _{1}单位向量）,对x _{i}做线性变化的投影,可知:

然后计算投影后的均值和方差

我们要投影后的方差取最大，可以得到优化函数，如下

这里的（1）是我们的目标函数，（2）是约束条件，然后构建拉格朗日函数得

要求得（1）式的max，即要λ \lambdaλ最大，而λ \lambdaλ是矩阵S的特征值，问题就转换为求S的最大特征值，求解的方法有SVD矩阵分解和特征值分解。

PCA降维的过程

  • x投影后的方差，就是x协方差矩阵的特征值，想要方差最大，就是要找协方差矩阵最大的特征值，最佳投影方向就是最大特征值对应的特征向量
  • 协方差的特征值有特征向量有\lambda _{1},\lambda _{2},.....\lambda _{n},特征向量有\mu _{1},\mu _{2},....\mu _{n}
  • 将所有特征值从大到小排列，将相应的特征向量随之排列，选择特征向量的前k行组成的矩阵(\mu _{1},\mu _{2},....,\mu _{k})乘以原始数据矩阵X，就得到我们需要的降维后的数据矩阵Y

PCA的流程

假设n个d维样本x_{i}进行PCA处理

  • 将原始数据按列组成d行n列矩阵X
  • 将X的每一行去中心化，即减去这一行的均值
  • 求出X的协方差矩阵
  • 求出协方差矩阵的特征值和对应的特征向量
  • 将特征向量根据对应的特征值大小从上到下按行排列，取前m行组成矩阵P
  • Y=PX即为降维到m维的数据
AI_dataloads
关注
PCA降维全过程
Deepin_L的博客
10-31 1964
PCA的目的 将原有的d维数据集，转换成k维的数据（k<d） 新生成的k维数据尽可能的包含原来d维数据的信息 PCA的数学推导 假设对n个样本xix_ixi​进行PCA处理，先对数据进行中心化，即将数据的均值变为0（为了后面计算的方便，不用减去mean） 1N∑i=1Nxi=0 \frac{1}{N}\sum_{i=1}^{N}x_i=0 N1​i=1∑N​xi​=0 则数据集的协方差矩阵为 Cov(xi,xj)=1n∑i=1n(xi−μi)(xj−μj) Cov(x_i,x_j)=\frac{1
知识：PCA降维
weixin_44340277的博客
02-18 2881
参考了两篇关于PCA的帖子： CodingLabs - PCA的数学原理 【机器学习】降维——PCA（非常详细） - 知乎 里面讲的比较详细，我只做个小简化 PCA（Principal Component Analysis）：用于高维数据的降维，可用于提取数据的主要特征分量 这里需要一些数学的基础知识： 1. 内积和投影 设 A=(x1,y1)，B=(x2,y2)，那么A·B = x1*x2 + y1*y2 =|A|*|B|*cos(α)（α...
PCA数学推导过程
03-19
PCA降维过程的数学简单推导
pca降维详细过程
weixin_34406086的博客
05-18 166
pca降维详细计算过程 转载于:https://www.cnblogs.com/Wanggcong/p/5505799.html
基于主成分分析（PCA）的数据降维
fefdfg的博客
05-12 680
主成分分析（Principal Component Analysis，PCA）是一种用于数据降维的方法，其核心目标是在尽可能保留原始数据信息的前提下，将高维数据映射到低维空间。该算法基于方差最大化理论，通过寻找数据的主要变化方向（即主成分），将原始数据投影到这些方向上，从而实现降维。
PCA主成分分析（降维）过程推导
以梦为马，不日抵达。
12-22 1万+
主成分分析的作用是降维。当数据量有多个维度时，有些维度对于数据的贡献大，有些维度对数据的贡献小。通过主成分分析，找到重要的维度，能大大减少计算量。 PCA的中心思想： 一个中心：原始特征空间的重构。 两个基本点：最大投影方差，最小重构距离。 --------------------------------------------------------------------------------------------------------------------------------...
PCA数据降维详解
weixin_30745553的博客
02-25 123
转：PCA数据降维详解 转载于:https://www.cnblogs.com/akrusher/articles/6442541.html
PCA降维推导
weixin_33724046的博客
07-28 157
为什么80%的码农都做不了架构师？>>> ...
PCA降维算法讲解和公式推导
08-21
"PCA降维算法讲解和公式推导" PCA（Principal Component Analysis，主成分分析）是一种常用的降维算法，旨在将高维数据转换为低维数据，同时保留原始数据的主要信息。PCA的思想是将原始数据投影到新的坐标系上，...
pca降维的基本思想_三种常用降维方法的思想总结
weixin_42554151的博客
01-17 2034
一.判别分析降维LDA降维和PCA的不同是LDA是有监督的降维，其原理是将特征映射到低维上，原始数据的类别也能清晰的反应在低维的数据上，也就是低维的数据也可以用来判别分类。我们先看看二维的情况，我们希望找到一个向量，使得数据点映射到这个向量上后，两个类间的距离尽可能，两个类内的样本的距离尽可能小。这样就得到了一个目标函数，分子是投影后两个类间均值的差的平方，我们希望这个值尽可能大，分母是投影后的类...
python实现pca降维_PCA降维的原理、方法、以及python实现。
weixin_39520988的博客
12-03 1676
参考：菜菜的sklearn教学之降维算法.pdf!!PCA(主成分分析法)1. PCA(最大化方差定义或者最小化投影误差定义)是一种无监督算法，也就是我们不需要标签也能对数据做降维，这就使得其应用范围更加广泛了。那么PCA的核心思想是什么呢？例如D维变量构成的数据集，PCA的目标是将数据投影到维度为K的子空间中，要求KPCA其实就是方差与协方差的运用。降维的优化目标：将一组 N 维向量降为 K 维...
PCA算法推导过程及案例分析
10-17
即主成分分析技术，又称主分量分析。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
主成分分析（PCA）降维
m0_62501000的博客
12-31 8345
在机器学习和数据分析领域，主成分分析（PCA）是一种常用的降维技术，旨在减少数据维度并保留主要信息。通过将高维数据映射到低维空间，PCA使得数据更易于可视化、理解和处理。本文将深入探讨PCA的原理、应用和实现。通过去除冗余信息，减少数据的维度，提高计算效率和模型训练速度。选择主成分相当于选择了原始特征中最具代表性的信息，有助于提取关键特征。PCA可以帮助去除数据中的噪音，提高模型的鲁棒性。PCA基于线性变换，可能无法很好地处理非线性关系。对异常值敏感，可能受到极端值的影响。
PCA———降维方法详解
watermel__的博客
03-19 199
一篇非常好的PCA讲解文章 转载于【机器学习】降维——PCA（非常详细） - 阿泽的文章 - 知乎 https://zhuanlan.zhihu.com/p/77151308
《推荐系统学习（二）》PCA降维方法的数学推导
qq_30841655的博客
06-25 347
前言 PCA降维方法将一组数据看成是一个随机变量生成的，通过将这个随机变量投影到待找的基向量上，这个投影后得到的一维随机向量方差最大。这个待找的基向量方向上，能够将投影后的数据最大程度区分开来。 推导 输入：数据集 T={x1,x2,...,xN}T=\{x_1, x_2, ..., x_N\}T={x1​,x2​,...,xN​}，xi∈Rnx_i\in\mathbb{R}^nxi​∈Rn；目标维数 kkk 输出：降维后的数据集 T={x1,x2,...,xN}T=\{x_1, x_2, ..., x_
图解机器学习算法(14) | PCA降维算法详解（机器学习通关指南·完结）
ShowMeAI研究中心
03-11 1万+
PCA（主成分分析）可以在对数据完成降维「压缩」的同时，尽量减少信息损失。本文讲解PCA算法的原理、步骤与Python代码实践，并讲解PCA的必要数学基础知识——基变换、方差、协方差等。
PCA推导
qq_36018024的博客
03-08 167
PCA推导
PCA降维的原理及步骤
热门推荐
每天进步一点点
04-10 5万+
*****降维的作用***** ①数据在低维下更容易处理、更容易使用； ②相关特征，特别是重要特征更能在数据中明确的显示出来；如果只有两维或者三维的话，更便于可视化展示； ③去除数据噪声 ④降低算法开销 *****降维通俗点的解释***** 一些高维度的数据，比如淘宝交易数据，为便于解释降维作用，我们在这假设有下单数，付款数，商品类别，售价四个维度，数据量上百万条，对于下单
PCA降维过程
最新发布
06-23
### PCA降维的详细步骤和数学原理 主成分分析（Principal Component Analysis, PCA）是一种常用的无监督降维方法，其核心思想是通过线性变换将高维数据投影到低维空间中，同时尽可能保留原始数据中的信息。以下是PCA降维的详细步骤和数学原理： #### 1. 数据预处理 在进行PCA之前，需要对数据进行标准化处理。这是因为PCA对不同量纲的数据非常敏感，若特征之间的尺度差异较大，则可能导致结果偏差。通常采用零均值化和单位方差化的方式对数据进行预处理[^1]。 ```python from sklearn.preprocessing import StandardScaler # 假设X为输入数据矩阵 scaler = StandardScaler() X_standardized = scaler.fit_transform(X) ``` #### 2. 计算协方差矩阵 协方差矩阵能够反映数据中各维度之间的相关性。对于标准化后的数据矩阵 \( X \)，其协方差矩阵 \( C \) 可以通过以下公式计算： \[ C = \frac{1}{n-1} X^T X \] 其中 \( n \) 是样本数量。协方差矩阵是一个对称矩阵，其对角线元素表示各个特征的方差，非对角线元素表示特征之间的协方差[^3]。 #### 3. 求解协方差矩阵的特征值与特征向量 协方差矩阵的特征值和特征向量决定了主成分的方向和重要性。通过求解特征值分解问题： \[ C v = \lambda v \] 可以得到一组特征值 \( \lambda_1, \lambda_2, \dots, \lambda_d \) 和对应的特征向量 \( v_1, v_2, \dots, v_d \)，其中 \( d \) 是数据的原始维度。特征值越大，对应的特征向量方向上包含的信息越多[^1]。 #### 4. 选择主成分 根据特征值的大小排序，选择前 \( k \) 个最大的特征值及其对应的特征向量作为主成分。这些主成分构成了一个新的低维空间，能够最大程度地保留原始数据的方差信息[^3]。 #### 5. 投影到低维空间 将原始数据投影到由主成分构成的新空间中，得到降维后的数据。假设 \( V_k \) 是由前 \( k \) 个特征向量组成的矩阵，则降维后的数据 \( Y \) 可以通过以下公式计算： \[ Y = X V_k \] 其中 \( Y \) 的每一列表示一个样本在新空间中的坐标[^2]。 #### 数学原理 PCA的核心在于寻找一组正交基，使得数据在这组基上的投影具有最大方差。通过最大化投影方差的目标函数，可以推导出协方差矩阵的特征值分解问题。此外，PCA还可以通过奇异值分解（SVD）实现，两者在理论上等价。 ```python import numpy as np # 协方差矩阵 cov_matrix = np.cov(X_standardized.T) # 特征值分解 eigenvalues, eigenvectors = np.linalg.eig(cov_matrix) # 选择前k个主成分 k = 2 top_k_indices = eigenvalues.argsort()[-k:][::-1] V_k = eigenvectors[:, top_k_indices] # 投影到低维空间 Y = np.dot(X_standardized, V_k) ``` ### 注意事项 尽管PCA是一种强大的降维工具，但它也有一些局限性。例如，PCA假设数据分布是线性的，因此对于非线性数据可能效果不佳。在这种情况下，可以考虑使用核PCA或其他非线性降维方法[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值