每天五分钟机器学习：PCA算法如何确定数据压缩降维的最佳维度？

最新推荐文章于 2024-11-23 15:32:54 发布
最新推荐文章于 2024-11-23 15:32:54 发布
阅读量2.5k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 每天五分钟玩转机器学习算法 文章标签： 算法 人工智能 PCA 主城成分分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/huanfeng_AI/article/details/128357648
PCA算法在数据压缩中如何选择合适的主成分数量K？本文介绍了基于平均均方误差、数据总变差和经验法则的方法，以及如何通过SVD矩阵高效计算，以保留99%以上的差异性。

本文重点

上节课程中我们已经学习了pca算法，已经知道了如何将n维特征变量降到k维，k是PCA算法的一个参数，也被称为主成分的数量。那么现在就产生了一个问题，这个问题就是如何选择K，因为PCA要做的就是要尽量减少投射的平均均方误差，所以K的选择很关键。

平均均方误差

其中x(i)表示原始样本的特征向量，Xapprox(i)表示映射的样本

数据的总变差

 

数据的总变差就是数据集中每个训练样本长度的平均值，它表示平均来看我们训练集样本距离0向量有多远。

k值的经验得法则

k值的经验得法则就是，选择能够使得它们之间得比例小于0.01的最小的K值。

 

这个0.01用PCA语言就是说我们选择的参数K，原本数据

了解本专栏 订阅专栏 解锁全文
每天五分钟机器学习：将PCA算法降维的数据进行升维恢复
huanfeng_AI的博客
12-17 2063
前面我们已经学习了PCA算法，他能完成数据的压缩，那么是否可以将压缩过的数据恢复到近似原始高维度的数据吗？
机器学习算法：PCA降维算法
最新发布
天涯雨的博客
06-28 673
机器学习算法：PCA降维算法；PCA（主成分分析）
7-6 scikit-learn中的PCA、寻找合适的维度
Bonjour_h的博客
05-17 1283
未降维时 scikit-learn 中的PCA¶ import numpy as np import matplotlib.pyplot as plt from sklearn import datasets import numpy as np import matplotlib.pyplot as plt from sklearn import datasets digits = datasets.load_digits() X = digits.data y = digits.target fr
python pca降维如何选择维数_主成分分析（PCA）主成分维度怎么选择？
weixin_39579548的博客
12-04 1682
也有不那么主观的方法：把它看成一个 model selection 问题，然后用 model selection 的方法解决。具体例子：Probabilistic PCA + Bayesian model selection。先介绍一下 Bayesian model selection。一般而言，假设我们有数据 ，候选模型集 ，以及对应参数空间集 。Bayesian model selecti...
利用PCA进行数据降维
chaunceyliu30的博客
11-10 1930
PCA原理 在介绍PCA之前首先要熟悉一下数学推导过程。 特征多项式： 设A为一个方阵，则该方阵的特征多项式就为该方阵减去倍的单位矩阵后构成的矩阵的行列式。而该多项式的所有解即为的值，也就是该方阵的特征值。 解得特征值之后如何求得特征向量： 找到特征值后，根据上式定义我们可推出,即，该式中即为特征向量，与已知，解出上式即可求出方阵A的特征向量，且每个特征值对应一个特征向量。 特征分解： 对于任一方阵A，其可根据上式被分解，P为由方阵的特征向量构成的方阵，D为一对角矩阵，其中当方阵A的特
通过PCA选择合适降维维度
lizz2276的博客
05-21 5468
PCA的作用有：降低特征值维度，提高了计算效率，但丢失了信息。信息在PCA中我们用方差来表示。 一、PCA参数、属性简介 1.介绍PCA方法中参数： n_components： 默认值为保留所有特征值维度，即不进行主成分降维 取大于等于1的整数时，即指定我们希望降维后的维数； 取0-1的浮点数时，即指定降维后的方差和占比，比例越大，保留的信息越多。系统会自行计算保留的维度个数。 2.介绍PCA中的属性： components_：降维后，保留的成分。每一行代表一个主成分，各成分按方差大小排...
如何确定PCA降维的维度
洛阳山
05-27 2353
主要是对西瓜书里面的一个思路的实现，并不涉及PCA原理和公式推导，用一句话总结PCA， 文章目录一、思路二、代码实现 一、思路 周志华老师《机器学习》P231 二、代码实现 主要是通过sklearn实现 ...
在使用PCA算法进行数据压缩降维时，如何确定最佳维度是一个关键问题？
huanfeng_AI的博客
11-23 1064
一、PCA算法的基本原理PCA算法的核心思想是通过正交变换，将一组可能相关的变量转换成一组线性不相关的变量，称为主成分。这组主成分能够以最小的信息损失来尽可能多地保留原始数据集的变异性。
机器学习隐马尔可夫模型与PCA算法解析：评估问题、解码问题及数据降维方法综述
06-07
③学习PCA在数据压缩、降维、特征提取和噪声过滤方面的应用；④提高对复杂数据集的理解和处理能力。; 阅读建议：由于本文涉及较多数学公式和算法流程，建议读者具备一定的数学基础和编程经验，在阅读过程中结合具体...
降维与特征选择
12-14
本资源包含利用主成分分析对输入特征进行降维的源代码,以及主成分回归分析和偏最小二乘法的matlab代码
PCA降维以及维数的确定
Startapi的博客
06-18 9208
概述 PCA（principal components analysis）即主成分分析技术，又称为主分量分析，旨在利用降维的思想，把多个指标转换为少数的几个综合指标。 主成分分析是一种简化数据集的技术，它是一个线性变换。这个线性变化把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标上（称为第一主成分），第二个大的方差在第二个坐标上（称为第二主成分），以此类推。主成分分析经常用于减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶
scikit-learn中PCA降到多少维？
binqiang2wang
01-10 5602
假设数据的维度是 500x1000,500个样本，每个样本的维度是1000，使用pca pca=PCA(n_components=600) 这里的600>500会报错，这里降维的时候，维度的数量不能大于样本数量，原因暂时不明。
PCA主成分数量（降维维度）选择
ybdesire的专栏
03-21 6万+
用PCA做降维，降到多少维合适呢？
pca降维的基本思想_PCA 降维以及维数的确定
weixin_34809884的博客
01-17 862
概述PCA(principal components analysis)即主成分分析技术，又称为主分量分析，旨在利用降维的思想，把多个指标转换为少数的几个综合指标。主成分分析是一种简化数据集的技术，它是一个线性变换。这个线性变化把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标上(称为第一主成分)，第二个大的方差在第二个坐标上(称为第二主成分)，以此类推。主成分分析经常用于减...
PCA（主成分分析）降维方法
qq_43363657的博客
01-09 1万+
一、降维 1）首先我们可以将数据以矩阵的形式表示出来，例如Xmxn，即m个数据样本，每个数据样本有n维度的特征（这个特征就是数字，n维特征就是n个数字表示了这个样本）。降维的目的就是减小n，比如降低维度到k（k<n）。 2）在二维上举例：我们用我们常用的坐标系，即（1，0）、（0，1）为基的坐标系，选取一组数据[ (-2，-2），（-1，-1）、（0，0）、（1，1）、（2，2）]，我们发现这组数据在坐标系上都处于一条直线上，就是y=x上。此时他的维度是二维的，但是我们把X、Y坐标轴逆时针旋转45度
PCA 降维算法详解 以及代码示例
热门推荐
Work Hard, Play Harder!
08-13 11万+
1. 前言  PCA ： principal component analysis ( 主成分分析) 最近发现我的一篇关于PCA算法总结以及个人理解的博客的访问量比较高， 刚好目前又重新学习了一下PCA （主成分分析） 降维算法， 所以打算把目前掌握的做个全面的整理总结， 能够对有需要的人有帮助。 自己再看自己写的那个关于PCA的博客， 发现还是比较混乱的， 希望这里能过做好整理。 本文的所有
pca降维的基本思想_PCA降维以及维数的确定
weixin_31579367的博客
01-28 1330
概述PCA(principal components analysis)即主成分分析技术，又称为主分量分析，旨在利用降维的思想，把多个指标转换为少数的几个综合指标。主成分分析是一种简化数据集的技术，它是一个线性变换。这个线性变化把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标上(称为第一主成分)，第二个大的方差在第二个坐标上(称为第二主成分)，以此类推。主成分分析经常用于减...
《机器学习》—— PCA降维
weixin_73504499的博客
09-05 3059
一、PCA降维简单介绍、二、python中实现PCA降维函数的介绍、三、代码实现、四、PCA降维的优缺点
PCA主成分分析：机器学习中的数据降维技术
资源摘要信息:"本压缩包包含了机器学习与算法领域中有关数据降维技术PCA（主成分分析）的源代码。PCA是一种常用的统计方法，它可以通过正交变换将一组可能相关的变量转换成一组线性不相关的变量，这些新变量称为主...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

人工智能_AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值