主成分分析（降维）

最新推荐文章于 2025-09-16 15:33:40 发布
原创 最新推荐文章于 2025-09-16 15:33:40 发布 · 1.2w 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#主成分分析 #特征分解 #奇异值分解

本文详细介绍了主成分分析（PCA）的原理和步骤，用于高维数据降维，最大化低维空间中的方差。PCA通过计算协方差矩阵的特征值和特征向量实现，选择最大的n'个特征值对应的特征向量形成新坐标系。此外，还探讨了奇异值分解（SVD）的过程，并比较了PCA与SVD的区别。

数据量太大时往往会有相关性较高的维度，给建模计算带来不必要的开支。

算法步骤：

输入：n维样本集D=(x^{(1)}, x^{(2)},...,x^{(m)})，要降维到的维数n'.

　　　　输出：降维后的样本集D'

　　　　1) 对所有的样本进行中心化： x^{(i)} = x^{(i)} - \frac{1}{m}\sum\limits_{j=1}^{m} x^{(j)}

　　　　2) 计算样本的协方差矩阵XX^T

　　　　3) 对矩阵XX^T进行特征值分解

　　　　4）取出最大的n'个特征值对应的特征向量(w_1,w_2,...,w_{n'}), 将所有的特征向量标准化后，组成特征向量矩阵W。

　　　　5）对样本集中的每一个样本x^{(i)},转化为新的样本z^{(i)}=W^Tx^{(i)}

　　　　6) 得到输出样本集D' =(z^{(1)}, z^{(2)},...,z^{(m)})

推导：

PCA思想：

  •         将高维数据投影至低维空间，从而减少获得源数据的主要特征。
  •         获得低维转换的方法：在低维空间里方差最大。

有mXn维数据(x^{(1)}, x^{(2)},...,x^{(m)})，对其去中心化，\sum\limits_{i=1}^{m}x^{(i)}=0。设新坐标系正交基为

最低0.47元/天 解锁文章
机器学习算法之------PCA主成分分析（降维）
weixin_41697507的博客
02-09 800
PCA主成分分析（降维） 1、用处 数据压缩（Data Compression）,使程序运行更快 可视化数据，例如3D–>2D等 2、2D–>1D，nD–>kD 如下图所示，所有数据点可以投影到一条直线，是投影距离的平方和（投影误差）最小 注意数据需要归一化处理 思路是找1个向量u,所有数据投影到上面使投影距离最小 那么nD–>kD就是找k个向量u(1),u(2)…u...
机器学习降维之主成分分析法（PCA）
count_on_me的博客
09-04 5013
主成分分析（principal component analysis）也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标（即主成分），其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复。 PCA主要思想 PCA的基本原理就是将一个矩阵中的样本数据投影到一个新的空间中去。当把所有的数据 都投射到该新空间时，我们希望平均方误差能尽可地小。 PCA主要步骤 将原...
降维-主成分分析
zyy848877920的博客
01-10 994
一、降维动机： 1.1、数据压缩：占内存小，可加快学习算法 下面举个小例子： 将数据从二维降至一维: 假使我们要采用两种不同的仪器来测量一些东西的尺寸，其中一个仪器测量结果的单位是英寸，另一个仪器测量的结果是厘米，我们希望将测量的结果作为我们机器学习的特征。现在的问题的是，两种仪器对同一个东西测量的结果不完全相等(由于误差、精度等)，而将两者都作为 特征有些重复，因而，我们希望将这个二维的数
机器学习笔记（九）——数据降维：主成分分析法（PCA）
热门推荐
weixin_43312354的博客
04-22 9万+
一、主成分分析法（PCA）思想及原理 （一） 什么是主成分分析法 PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法（非监督的机器学习方法）。 其最主要的用途在于“降维”，通过析取主成分显出的最大的个别差异，发现更便于人类理解的特征。也可以用来削减回归分析和聚类分析中变量的数目。 （二）为什么要做主成分分析 在很多场景中需要对多变量...
时间序列预测全攻略：从 ARIMA 到 LSTM
最新发布
等风来
09-16 984
时间序列预测是一种统计技术，用于分析历史数据并基于时间规律预测未来数值。在需要理解趋势、季节性及周期性模式以支持关键业务决策与战略规划的领域，这一方法尤为重要。从预测股市波动到能源需求高峰的预测，精准的时间序列分析能帮助企业优化库存、合理分配资源，并降低运营风险。现代方法结合传统统计学与机器学习，既能处理线性关系，也能捕捉复杂的非线性模式。本文将介绍三种主要的预测方法。
主成分分析（PCA）降维
m0_62501000的博客
12-31 9115
在机器学习和数据分析领域，主成分分析（PCA）是一种常用的降维技术，旨在减少数据维度并保留主要信息。通过将高维数据映射到低维空间，PCA使得数据更易于可视化、理解和处理。本文将深入探讨PCA的原理、应用和实现。通过去除冗余信息，减少数据的维度，提高计算效率和模型训练速度。选择主成分相当于选择了原始特征中最具代表性的信息，有助于提取关键特征。PCA可以帮助去除数据中的噪音，提高模型的鲁棒性。PCA基于线性变换，可能无法很好地处理非线性关系。对异常值敏感，可能受到极端值的影响。
PCA主成分分析（降维）
起飞的木木的博客
03-25 1万+
PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第...
PCA主成分分析（PCA降维）
褪色的博客
05-25 4818
PCA（Principal Components Analysis，主成分分析），作为一种降维技术，使数据更易用于分析数据集建立数据模型。PCA是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k（k
主成分分析（降维）案例介绍
qq_57099024的博客
10-13 842
主成分分析（降维）案例介绍
PCA主成分分析OpenCV中实现图片降维分类
花开莫与流年错_的博客
03-28 6006
OpenCV中使用PCA主成分分析，将图片降维分类
降维:主成分分析(PCA)
pan_haufei的博客
04-25 737
定义：可以将特征向量投影到低维空间，实现对特征向量的降维 步骤： 1.数据预处理。这里预处理包含俩个部分：均值归一化和属性范围调整。均值归一化是相应属性减去平均值；而属性范围则在归一化基础上初一属性方差。 2.计算特征之间的协方差矩阵。该矩阵是一个n*n的对称矩阵。 3.计算协方差矩阵的特征值和特征向量。 4.将特征值从大到小排序。 5.保留最上面的N个特征向量。 6.将原数据映射到
主成分分析 降维方法
07-22
主成分分析是模式识别领域的一个重要的降维方法
主成分分析法降维处理
02-27
采用主成分分析法对图像特征进行降维处理，有实验数据，得能出实验结果
机器学习中常用的降维方法-主成分分析法（PCA）
qq_37977007的博客
12-15 3346
机器学习的主成分分析
秒懂数据降维——主成分分析PCA
gjinc的博客
06-20 5867
主成分分析（Principal Component Analysis，简称 PCA）是一种常用的数据降维方法，旨在通过将高维数据投影到低维空间中的主要方向来捕获数据的本质结构。主成分分析可用于降低数据的维度，压缩图像、音频和视频数据，去除冗余信息等。
PCA（主成分分析）降维算法
helluy的博客
08-29 295
在主成分分析中，若有一低维平面能有效提取原数据信息，则它应一般满足最大可分性：样本点在这一低维平面的投影尽可能分开，也就是方差最大原则。先将数据规范化（中心化），即均将所有点的横坐标均值与纵坐标均值变成0，处理方法为每个点的横坐标减去所有点横坐标均值，纵坐标同理。，也就是在特征向量方向轴上的投影长度方差，方差越大，可以认为，含有原数据信息量越全面。，即原数据在对应特征向量方向轴上的方差就是该特征向量对应的特征值!可以看出，特征值越大，方差越大，对原数据的信息保留越全面。方向轴上的坐标，形状为nx1，此时。
主成分分析法案例_解决“维度灾难”，主成分分析法教你降维打击
weixin_39742471的博客
11-27 778
全文共7016字，预计学习时长40分钟或更长现代科技时代产生和收集的数据越来越多。然而在机器学习中，太多的数据可不是件好事。某种意义上来说，特征或维度越多，越会降低模型的准确性，因为需要对更多的数据进行泛化——这就是所谓的“维度灾难”。降维是一种降低模型复杂性和避免过度拟合的方法。特征选择和特征抽取是两种主要的降维方式。特征选择是从原有特征集中选出一部分子集，而特征抽取是从原有特征集收集一部分信息...
吴恩达机器学习（十二）主成分分析（降维、PCA）
今天你学习了吗
10-11 5151
目录 0. 前言 1. 主成分分析（PCA） 2. 主成分分析PCA的流程 3. 低维空间维度的选择 4. 主成分分析使用方式 学习完吴恩达老师机器学习课程的降维，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。 如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~ 0. 前言 数据的特征数量，又称作向量的维度。降维（dimensionality re...
主成分分析（PCA降维）
AI学习笔记
05-16 811
降维： LDA—了解 SVD—了解 PCA—重点 表示向量的时候是需要确定一组基的。 基的模长是1 降维目标：尽量在投射点上分散，不重合；重合会丢失很多信息。 减去均值好处：5条数据都平面直角坐标系内 方差值越大越分散 协方差—算相关性 补充：线性代数特征值，特征向量知识 eig:可以协方差矩阵的特征值和特征向量 有协方差矩阵可以直接求出特征值和特征向量 降维：SVD；LDA。与PCA结果有区别 ...
一键使用主成分分析降维完整Matlab代码
主成分分析降维是一种常用的数据预处理技术，旨在减少数据集的维度，同时尽可能保留数据集的原始信息。在机器学习和数据分析中，高维数据可能导致模型过拟合、计算复杂度高和数据可视化困难等问题。PCA通过识别数据...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值