算法公式推导——PCA

最新推荐文章于 2024-06-18 08:19:36 发布
原创 最新推荐文章于 2024-06-18 08:19:36 发布 · 1.2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#线性代数 #算法

PCA（主成分分析）是一种线性代数方法，用于寻找数据集的主要方向，最大化投影的方差。首先将数据规范化，然后通过最大化特征值来找到主向量。PCA的关键在于找到数据矩阵XXT的最大特征值对应的特征向量，这可以通过SVD分解实现。通过对数据点减去第一主成分，可以找到第二主成分，依次类推。

文章目录


前言：关于主成分分析（Principle Component Analysis，PCA）的算法公式推导，文中若有写的不对的地方或者没写明白的地方，欢迎读者提出并交流。

1，算法定义

算法输入：一堆点集 X = [ x 1 , x 2 , . . . , x m ] ， 其 中 x i ∈ R n ,    i = 1 , 2 , . . . , m X = [x_1, x_2, ...,x_m]，其中x_i \in \mathbb{R}^n, ~~i = 1,2,...,m X=[x1​,x2​,...,xm​]，其中xi​∈Rn,  i=1,2,...,m
算法输出： 一堆主向量 z 1 , z 2 , . . . , z k ∈ R n ,    k ≤ n z_1, z_2,...,z_k \in \mathbb{R}^n, ~~k \le n z1​,z2​,...,zk​∈Rn,  k≤n

问1：什么是最重要的主成分？
答1：一个方向，使得投影到该方向上的所有数据点的方差最大。

问2：如何获取第二重要的主成分？
答2：从原始的数据点中去掉最重要的主成分，即数据点减去投影后，再从中找到最重要的主成分。

问3：如何获取第三重要的主成分？
答3：重复上面的步骤。

2，算法步骤

  • 1，将数据点规范化为0均值，因为我们只关心这堆数据点的方向。
    X ~ = [ x ~ 1 , x ~ 2 , . . . , x ~ m ] ， 其 中 x ~ i = x i − 1 m ∑ i = 1 m x i ， i = 1 , 2 , . . . , m \widetilde{X} = [\widetilde{x}_1, \widetilde{x}_2, ...,\widetilde{x}_m]， 其中\widetilde{x}_i = x_i - \frac{1}{m} \displaystyle\sum_{i=1}^m x_i，i = 1,2,...,m X =[x 1​,x 2​,...,x m​]，其中x i​=xi​−m1​i=1∑m​xi​，i=1,2,...,m

  • 2，PCA的目的是找到一个方向 z ∈ R n z \in \mathbb{R}^n z∈Rn（其中 ∣ ∣ z ∣ ∣ 2 = 1 ||z||_2 = 1 ∣∣z∣∣2​=1），使得 X X X （或者 X ~ \widetilde{X} X ）中的数据点投影到该方向后的方差最大（无论点云是否进行了去中心化操作，其向 z z z 轴方向的投影不变）。

    • X ~ \widetilde{X} X 中的点往 z z z方向的投影为： x ~ i T z \widetilde{x}_i^T z x iT​z
    • 投影的均方差为： 1 m ∑ i = 1 m ( x ~ i T z ) 2 = 1 m ∑ i = 1 m ( x ~ i T z ) T ( x ~ i T z ) = 1 m ∑ i = 1 m z T x ~ i x ~ i T z \frac{1}{m} \displaystyle\sum_{i=1}^m (\widetilde{x}_i^T z)^2 = \frac{1}{m} \displaystyle\sum_{i=1}^m (\widetilde{x}_i^T z)^T (\widetilde{x}_i^T z) =\frac{1}{m} \displaystyle\sum_{i=1}^m z^T \widetilde{x}_i \widetilde{x}_i^T z m1​i=1∑m​(x iT​z)2=m1​i=1∑m​(x iT​z)T(x iT​z)=m1​i=1∑m​zTx i​x iT​z
      为了后面书写方便，用符号 x i x_i xi​代替去中心后的点 x ~ i \widetilde{x}_i x i​，因此投影均方差可写作： 1 m ∑ i = 1 m z T x i x i T z \frac{1}{m} \displaystyle\sum_{i=1}^m z^T x_i x_i^T z m1​i=1∑m​zTxi​xiT​z
    • 将投影均方差写成矩阵的形式有： 1 m ∑ i = 1 m z T x i x i T z = 1 m   z T X X T z \frac{1}{m} \displaystyle\sum_{i=1}^m z^T x_i x_i^T z = \frac{1}{m}~z^T XX^T z m1​i=1∑m​zTxi​x
最低0.47元/天 解锁文章
PCA公式推导
m0_46716894的博客
10-15 2428
PCA公式推导 文章目录PCA公式推导PCA目的与原理PCA使用说明PCA公式推导关于m值的选择Python实现PCA对于鸢尾花数据进行降维PCA和LDA的思路比较 PCA目的与原理 PCA可以实现在维度较多的时候的降维的功能，并且能在降维的过程中最大的保留原来的变量的所有信息。实现的思路是，对于现存的m维数据，找到k（k<m）维数据来对其进行代替，目标是尽可能减少信息的损失。为了更加直观的认识，我们以二维的数据为例。如下图，存在蓝色的一些数据点，我们希望找到一个比二维维度更低(这里就是这条一维的直线
PCA（Principal Component Analysis，主成分分析）的数学公式
qlkaicx的博客
04-07 5452
在PCA的数学原理中，假设原始数据集为X，是一个n×m的矩阵，表示n个样本的m个特征。新的基向量为V，由前k个特征向量组成，是一个m×k的矩阵。降维后的数据集为Y，是一个n×k的矩阵。PCA的降维过程可以通过以下公式表示：Y=XV这个公式表示将原始数据集X通过新的基向量V进行线性变换，得到降维后的数据集Y。其中，Y的每个样本都是原始样本在新基向量空间中的坐标表示，而新基向量则是根据协方差矩阵的特征值和特征向量选择得到的，能够最好地表示原始数据的主要变化方向。
主成分分析(PCA)简介
网络资源是无限的
01-05 1万+
主成分分析(PCA)简介
PCA：详细解释主成分分析
热门推荐
lanyuelvyun的博客
09-04 22万+
1 PCA目的/作用 主成分分析算法（PCA）是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大（方差最大），以此使用较少的数据维度，同时保留住较多的原数据点的特性。 PCA降维的目的，就是为了在尽量保证“信息量不丢失”的情况下，对原始特征进行降维，也就是尽可能将原始特征往具有最大投影信息量的维度上进行投影。将原特征投影到...
pca公式推导
sinat_41132860的博客
10-04 582
链接 https://www.youtube.com/watch?v=G2NRnh7W4NQ&amp;index=2&amp;list=PLt0SBi1p7xrRKE2us8doqryRou6eDYEOy  视频中还讲了kernal PCA的推导
PCA算法推导
crazy_scott的博客
05-26 1955
PCA理解与应用。 Motivation PCA与Factor analysis非常相似，都是主要用于reduction data dimensions。但PCA的想法相比于Factor analysis更简单，实现起来也更加直观和容易（只需要算特征值）。 PCA tries to identify the subspace in which the data approximately li...
详细推导PCA算法（包括算法推导必备的知识）
渣渣屋
10-28 2415
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录1. PCA优化目标2.理论依据2.1 矩阵换基底2.2 拉格朗日乘子法2.3 协方差矩阵2.4 特征向量和奇异值分解2.4.1 特征向量奇异值分解2.4.3 特征向量和奇异值分解的关系3 PCA3.1 PCA推导3.2 PCA过程总结 前言 该文章转载自 https://blog.youkuaiyun.com/QQ2627866800/article/details/86656237 自己做了点修订 1. PCA优化目标 用较少特征地数据
机器学习——PCA
hh3023241040的博客
06-18 1283
主成分分析（Principal Component Analysis，PCA）, 简称PCA,是一种统计方法。过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。主成分分析是我们在数学建模的过程中最为常见的线性降维方式，在比赛中常常会用在数据指标过多的处理，把高维度数据处理成低维度数据，方便后续建模。说人话就是将多个数据指标降维到较少的数据指标。
【机器学习】降维——PCA
Xiebe的博客
11-24 622
PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。PCA 的数学推导可以从最大可分型和最近重构性两方面进行，前者的优化条件为划分后方差最大，后者的优化条件为点到划分平面距离最小，这里我将从最大可分性的角度进行证明。
机器学习——PCA降维
胭脂草的ABC博客
05-05 581
PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。 PCA 的数学推导可以从最大可分型和最大重构性两方面进行，前者的优化条件为划分后方差最大，后者的优化条件为点到划分平面距离最小。由于基于最大重构性的 PCA 其与 LDA（线性判别法）的数学推导有异曲同工之处，所以我只从最大可分性进行证明，而最大重构...
PCA详细推导
08-10
PCA，主成分分析，详细推导。
PCA算法推导过程及案例分析
10-17
即主成分分析技术，又称主分量分析。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
PCA数学推导过程
03-19
PCA降维过程的数学简单推导
机器学习算法的公式推导与NumPy实现详解
本压缩包标题为《机器学习算法的公式推导以及numpy实现》，结合描述内容可以看出，该资源聚焦于机器学习中的核心理论——数学公式的严谨推导，并辅以Python中强大的科学计算库NumPy进行实际代码实现，旨在帮助学习者...
数学基础（三）PCA原理与推导
Billie使劲学的博客
08-08 1646
u向量的方向已经确定，我们将样本点映射到u向量上，显然右图的误差要比左图大许多，因此我们就需要先对样本进行中心化，使之分布于原点O附近。即计算所有样本点的均值（x的均值，y的均值），然后将每个样本点减去这个均值，就得到了中心化之后的样本。......
【降维PCA算法】 机器学习公式推导计算+详细过程 （入门必备）
On the road
07-05 1379
PCA算法 PCA算法：主成分分析是一种非监督的降维方法，降维可以做特征筛选，降低训练复杂度。 在信号学里，信噪比越大，说明数据质量越好。其中信号有较大的方差，噪声有较小的方差。 PCA正好可以借鉴信噪比这一理论，让数据在主轴上的投影方差最大。 方差公式 V(x)=1m∑i=1m(xi−x‾)2 V(x) = \frac{1}{m} \sum_{i=1} ^ m (x_i - \overline{x})^2 V(x)=m1​i=1∑m​(xi​−x)2 PCA推导 求方差最大化，可以令x
PCA(用数学原理进行推导和解释)
我不爱机器学习的博客
03-17 1127
首发于 我不爱机器学习 公众号，微信号：learning_free 1、相关数学知识 1.1 均值 x={1,2,3} E[a+x]=a+E[x]E[αx]=αE[x]E[αx+a]=αE[x]+a \begin{aligned} E[a+x] &=a+E[x] \\ E[\alpha x] &=\alpha E[x] \\ E[\alpha x+a] &=\alpha...
PCA算法原理推导
weixin_42529756的博客
03-20 246
1.PCA 作用 2.PCA求解 3.PCA目标函数推导 4.PCA算法步骤
PCA（主成分分析）-------原理，推导，步骤、实例、代码
xxty1122的博客
04-09 6万+
最近一直在学习主成分分析（PCA），所以想把最近学的一点知识整理一下，如果有不对的还请大家帮忙指正，共同学习。一、PCA简介1.概念：主成分分析是一种统计方法，通过正交变换将一组可能存在相关性的变量转换成一组线性不相关的变量，转换后的这组变量叫主成分。2.思想：PCA的思想是将n维特征映射到m维上（m&lt;n），这m维是全新的正交特征，称为主成分，这m维的特征是重新构造出来的，不是简单的从n维特...
pca算法公式
最新发布
05-05
### 主成分分析 (PCA) 的数学公式及其推导 主成分分析（Principal Component Analysis, PCA）是一种常用的降维技术，其核心目标是通过线性变换将高维数据映射到低维空间，同时保留尽可能多的信息。以下是 PCA 算法的核心数学公式以及详细的推导过程。 #### 1. 数据标准化 在应用 PCA 之前，通常需要对原始数据 $ X $ 进行中心化处理，即减去每列的均值[^3]。假设原始数据矩阵为 $ X \in \mathbb{R}^{n \times m} $，其中 $ n $ 是样本数量，$ m $ 是特征数量，则经过中心化的数据记作： $$ \tilde{X} = X - \mu, $$ 其中 $\mu$ 表示每一列的平均值向量[^3]。 --- #### 2. 协方差矩阵计算 协方差矩阵用于衡量变量之间的关系强度。对于中心化后的数据矩阵 $\tilde{X}$，协方差矩阵定义为： $$ \Sigma = \frac{1}{n-1} \tilde{X}^\top \tilde{X}, $$ 这里 $\Sigma \in \mathbb{R}^{m \times m}$ 是一个对称半正定矩阵[^4]。 --- #### 3. 特征分解 为了找到能够最大程度保持数据信息的新坐标系，我们需要求解协方差矩阵的特征值和对应的特征向量。具体来说，解决以下广义特征值问题： $$ \Sigma v_i = \lambda_i v_i, $$ 其中 $v_i$ 和 $\lambda_i$ 分别表示第 $i$ 个特征向量和特征值[^2]。按照特征值大小排序后，选取前 $k$ 个最大的特征值所对应的方向作为新基底。 --- #### 4. 投影与降维 选定新的基向量集合构成矩阵 $ V_k \in \mathbb{R}^{m \times k} $ 后，可以利用该矩阵实现从原空间到子空间的数据投影。最终得到的降维结果为： $$ Y = \tilde{X} V_k. $$ 此处 $ Y \in \mathbb{R}^{n \times k} $ 就是我们所需的低维表达形式[^3]。 --- #### 5. 方差最大化原则下的优化目标函数 实际上，在寻找最优方向过程中隐含着这样一个约束最优化模型: 给定任意单位长度矢量 w ，尝试使得下面的目标达到极大值 : $$ J(w)=w^TΣw,\quad s.t.\ \|w\|=1 . $$ 采用拉格朗日乘数法则构建辅助函数 L 并完成极值条件解析即可得出结论——最佳解正是 Σ 的某个标准正交本征矢之一 。因此反复迭代直至获得全部所需维度为止 [^4]. ```python import numpy as np def pca(X, num_components): # Step 1: Center the data mean_vector = np.mean(X, axis=0) centered_X = X - mean_vector # Step 2: Compute covariance matrix cov_matrix = np.cov(centered_X.T) # Step 3: Perform eigen decomposition on the covariance matrix eig_values, eig_vectors = np.linalg.eig(cov_matrix) # Step 4: Sort eigenvalues and select top-k components sorted_indices = np.argsort(eig_values)[::-1] selected_eigenvectors = eig_vectors[:, sorted_indices[:num_components]] # Step 5: Project original data onto new subspace projected_data = np.dot(centered_X, selected_eigenvectors) return projected_data, selected_eigenvectors ```
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值