人工智能（2）- 学习主成成分分析（PCA）进行降维

最新推荐文章于 2025-09-09 14:44:46 发布
原创 最新推荐文章于 2025-09-09 14:44:46 发布 · 763 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习

本文探讨了降维的必要性，避免因维度增加导致的分类器性能下降。介绍了PCA（主成分分析）算法的原理，包括规范化数据、构建协方差矩阵、寻找最大化方差的基。通过PCA，可以将数据从高维降至低维，同时保持大部分信息。文章还展示了使用scikit-learn实现PCA的过程，通过实例说明PCA在实际应用中的效果。

一.为什么要进行降维？

    在进行分类的时候我们需要大量的特征来提高分类器的准确度，但是分类器的性能随着随着维度的增加，逐步上升，达到某点其性能便逐渐下降。

   为了避免性能下降的情况，我们要进行降低维度的处理。

    数据的特征分量之间往往存在一些关联，如一个网站的访问量和网站的用户之间有一定的关联，一个淘宝店的下单数和成交数有一定关联。我们通过将两个有相关关系的特征进行筛选，删除一些，来降低机器学习算法的复杂度。

    但是我们删除那些信息损失最小？如何度量丢失的信息？

二.降维原理、PCA算法    
    1.规范化d维的数据集

    2.构建协方差矩阵：

    数学解释：一个字段的方差可看作，每个元素与字段均值的差的平方和的均值，我们将字段均值化为零，问题被形式化表述为：寻找一个基，使得所有数据变换为这个基上的坐标后，方差值最大，来表示降维后数据分散。

   

    对于更高位，我们在完成了第一个投影方向的选择后，还要选择第二个投影方向，为了表示更多的原始信息，我们希望他们之间不存在（线性）相关性。数学上用协方差表示相关性，我们设置字段均值为零

   

    协方差为零时，两个字段完全独

最低0.47元/天 解锁文章
【机器学习-10】主成分分析(PCA)算法：原理、应用与实现
qq_38614074的博客
03-26 2万+
主成分分析（Principal Component Analysis，简称PCA）是一种统计分析方法，它旨在通过正交变换将原始特征空间中的线性相关变量转换为新的线性无关变量，即主成分。这些主成分能够保留原始数据的大部分信息，同时降低数据的维度，使得数据的处理和分析更加高效。PCA的原理基于数据的方差最大化思想。方差代表了数据的离散程度，方差越大，说明数据在该维度上的变化越丰富，所包含的信息也就越多。
【人工智能机器学习基础篇】——深入详解无监督学习之降维：PCA与t-SNE的关键概念与核心原理
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
12-31 3727
【人工智能机器学习基础篇】——深入详解无监督学习之降维：PCA与t-SNE的关键概念与核心原理
09-30 主成分分析--降维
weixin_46400833的博客
09-30 378
主成分分析之基本概念—降维技术 假设一下场景： 一百多个自变量做聚类分析 两个变量做线性回归存在多重共线性，去掉其中一个又损失了回归的精度 这种情况下，最优的解法就是将多个变量融合为一个新的变量，使得变量的个数大大降低（降维），并且能够将有相关关系的几个指标合并为一个，消除变量之间的多重共线性， 这种 设法将原先众多的具有一定相关性的指标，重新组合为一组新的互相独立的综合指标，并代替原先的指标的技术，称为主成分技术。 例子： y1 x1 x2 x3 3 6 0 100 5 9 0 100 7 15 0
PCA的应用示例
热门推荐
Work Hard, Play Harder!
08-13 3万+
在 PCA 详细算法介绍 （http://blog.youkuaiyun.com/watkinsong/article/details/38536463） 中， 因为篇幅问题 没有给出详细的代码示例， 这里给出代码示例。 通过对人脸图像进行降维深入了解PCA算得使用。 首先看一下数据集， 我们有12张人脸图像， 用10张人脸训练PCA降维矩阵， 剩下的两张可以用作测试。
人工智能机器学习——决策树、异常检测、主成分分析（PCA)
最新发布
Billy_Zuo的博客
09-09 447
PCA(principal components analysis)：数据降维技术中,应用最最多的方法。数据降维，是指在某些限定条件下，降低随机变量个数，得到一组“不相关”主变量的过程。概率密度：概率密度函数是一个描述随机变量在某个确定取值点附近的可能性的函数。决策树：一种对实例进行分类的树形结构，通过多层判断区分目标所属类别。异常检测：根据输入数据，对不符合预期模式的数据进行识别。本质：通过多层判断，从训练数据集中归纳出一组分类规则。数据降维的实现：主成分分析(PCA)
7 主成成分分析（PCA）降维算法
手握灵珠常奋笔
11-30 716
7 主成成分分析（PCA）降维算法Principal Component Analysis，PCA是一种常用的降维方法，通常用于高维数据集的探索与可视化，还可以用作数据压缩和预处理等。回顾统计学名词： 方差： 协方差：用于度量两个变量之间的线性相关性程度 特征向量：描述数据集结构的非零向量PCA的原理： 矩阵的主成分就是其协方差矩阵对应的特征向量，按照对应的特征值大小进行排序，最大的特征值就
PCA降维的例子
01-20
import numpy as np import matplotlib.pyplot as plt #载入数据 data=np.genfromtxt(data.csv,delimiter=,) x_data=data[:,0] y_data=data[:,-1] plt.scatter(x_data,y_data) plt.show() print(x_data.shape) #数据中心化 def zeroMean(dataMat): #按列求平均，即各个特征的平均 meanVal=np.mean(dataMat,axis=0) newData=dataMat
使用协方差矩阵的特征向量PCA来处理数据降维
昕友软件博客
10-23 372
取2维特征，方便图形展示 import matplotlib.pyplot as plt from sklearn.decomposition import PCA from sklearn.datasets import load_iris data = load_iris() y = data.target X = data.data pca = PCA(n_c...
人工智能机器学习-主成分分析PCA降维
09-17
人工智能机器学习-主成分分析PCA降维-MATLAB代码实现 主成分分析（PCA）是一种常用的数据降维技术，通过找到数据中方差最大的方向来实现数据的降维，同时保留数据的主要信息。PCA将原始数据转换为一组新的变量，称为...
机器学习：基于主成分分析（PCA）对数据降维
阿极的博客
02-25 1万+
主成分分析算法（Principal Component Analysis， PCA）的目的是找到能用较少信息描述数据集的特征组合。它意在发现彼此之间没有相关性、能够描述数据集的特征，确切说这些特征的方差跟整体方差没有多大差距，这样的特征也被称为主成分。这也就意味着，借助这种方法，就能通过更少的特征捕获到数据集的大部分信息。
PCA降维实例
欢迎来到关关雎鸠儿的博客
02-12 1338
1.导入数据 import numpy as np import pandas as pd df = pd.read_csv('iris.data') df.head() 2.修改列名 df.columns=['sepal_len', 'sepal_wid', 'petal_len', 'petal_wid', 'class'] df.head() 3.赋值 # split data ta...
pca降维程序
02-03
内含pca的matlab程序，简单易懂，不到百行，特征提取和数据降维的不二神器。混科研搞数据必备良代码。超低价甩卖。
不懂PCA？一个小实例带你了解PCA降维
AI_dataloads的博客
10-08 1856
每一个数据以此减去均值，得到零均值化数据（-1，-1，0，2，0）每一个数据以此减去均值，得到零均值化数据（-2，0，0，1，1）前面得到去均值化的X矩阵，利用公式，求得协方差矩阵。第一行均值：（1+1+2+4+2）/ 5 = 2。第二行均值：（1+3+3+4+4）/ 5 = 3。2无法解释降维后的数据是什么。3贡献率小的成分有可能更重要。Y=PX即为降维到k维后的数据。1.计算方法简单，容易实现。2可以减少指标筛选的工作量。3消除变量间的多重共线性。1.特征必须是连续型变量。也就是减去这一行的均值。
【降维之PCA】PCA实例
点滴记忆
10-31 737
数据介绍：PCA实现高维数据可视化目标:已知莺尾花数据是4维的，共三类样本(150*4)。使用 РСA实现鸢尾花数据进行降维，实现在二维平面上的可视化。 PCA可以将具有相关性的高维变量合成为线性无关的低维变量，成为主成分，主成分能够尽可能的保留原始数据的信息矩阵的主成分就是其协方差矩阵对应的特征向量，按照对应特征值大小排序，最大特征值为第一主成分，以此类推 import matplotlib...
利用PCA降维的手工计算实例
yimixgg的博客
09-29 7659
转载：https://blog.youkuaiyun.com/dugudaibo/article/details/78931825 PCA 的原理相信大家十分熟悉了已经，但是很多人没有真正的进行过相关的推到。在这里本文将举一个利用 PCA 降维的手工计算实例。 1 .问题的描述   已知现在有一个二维矩阵如下所示   这个是一个已经去掉均值的矩阵。其中每一行是一个维度，而每一列是一个样本。去均值...
PCA降维算法（内含PCA可视化迷你案例+PCA人脸识别降维案例+PCA逆转降噪案例）
weixin_51589123的博客
10-08 4757
文章目录1、sklearn中的降维算法（1）PCA（2）SVD（3）思考2、重要参数n_components3、PCA中的SVD4、重要接口inverse_transform5、重要接口，参数和属性总结6、案例：PCA对手写数字数据集的降维 1、sklearn中的降维算法 PCA使用的信息量衡量指标，就是样本方差，又称可解释性方 差，方差越大，特征所带的信息量越多。 （1）PCA 我们希望能够找出一种办法来帮助我们衡量特征上所带的信息量，让我们在降维的过程中，能够即减少特征的数量，又保留大部分有效信息——
人工智能——机器学习，数据特征预处理，数据降维
weixin_47601051的博客
05-12 595
数据特征预处理，数据降维 处理方法： 1，数值型数据 ： 标准缩放 （1）归一化 （2）标准化 （3）缺失值 2...
sklearn的系统学习——PCA降维（案例及完整python代码）
weixin_44904136的博客
08-10 6874
在实际操作数据集的过程中，难免会遇到很多高维特征的数据，计算量也会暴增。为了在减少计算量的同时提高算法准确率，可尝试降维。下文将列出三个案例，分别是人脸识别、降噪和处理手写数据集。，即主成分分析方法，是一种使用最广泛的数据。...
PCA降维的数学理解与举例
虚宇宸轩
02-16 858
PCA(Principle Component Analysis 主成分分析)是深度学习中最常用的降维算法。本文将通过最基础的线性代数知识对PCA算法进行解释。 0. 为什么要进行降维&降维的目标&降维的原则 0.1 为什么要进行降维 在深度学习中，需要对大量的样本数据进行处理，而每个样本会包含很多特征（即维度），这样在进行各种运算和训练时无疑会消耗大量的内存和时间，所以我们希...
机器学习作业指南：PCA降维技术详解
根据提供的信息，相关知识点可以围绕“机器学习”、“编程作业”、“降维”和“PCA（主成分分析）”展开。以下是详细说明： ### 机器学习（Machine Learning） 机器学习是人工智能的一个分支，它使得计算机系统能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值