降维方法PCA

最新推荐文章于 2020-01-29 20:48:12 发布
最新推荐文章于 2020-01-29 20:48:12 发布
阅读量520 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 数据挖掘与机器学习算法 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u014593570/article/details/78461574

周志华老师的书上省略了很多矩阵运算，而这些运算是PCA的核心之处。建议各位同学 看看我给出的参考文章，学习完之后，再回过来看看西瓜书。

为什么要降维？
机器学习中紧接过拟合之后的最大问题就是维度灾难（curse of dimensionality）。这一概念是由贝尔曼（Bellman）在1961年首先提出的，用来描述以下事实：许多在低维空间表现很好的算法，当输入是高维度的时候，就变得计算不可行（intractable）了。但在机器学习领域，这有更多的意义。随着样例维度（即特征数目）的增长，正确泛化的难度会以指数级增加，原因是同等规模的训练集只能覆盖越来越少的输入空间比例。
因此如果不降维的话，数据中真正有用的部分会淹没在海量的无用数据中。


这里写图片描述


这里写图片描述

【参考文章】
机器学习-周志华
主成分分析（Principal components analysis）-最大方差解释
主成分分析（Principal components analysis）-最小平方误差解释
最大方差和最小协方差解释（线性代数看PCA）
机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用

数据降维——PCA：主成分分析法
lili_lak的博客
06-17 1749
目录 一、PCA相关概念 1. 什么是PCA？ 1.1 概念阐释 1.2 为什么要做PCA 2. 特征维度约减的概念与目的 3. 主成分分析的主要步骤 3.1 求出所有值的均值，然后将所有案例都减去该均值 3.2求样本的协方差矩阵 3.3 求得特征值和特征向量 3.4 将特征值按照从大到小的顺序排序，选择其中最大的k个,及其对应特征向量 3.5 将原始数据投影到选取的特征向量上 3.6 输出投影后的数据集 二、PCA的简单实现 1. 导入库 2. 选取一个二维数据 3. 查看
PCA用于人脸识别的降维和ORL人脸数据
01-22
PCA用于人脸识别的预处理，无监督的降维，附带通用的ORL人脸数据库和快速PCA的代码。文件可以通过改成txt后缀打开。
findBug 错误修改指南
weixin_34259559的博客
06-05 1014
FindBugs错误修改指南 1. EC_UNRELATED_TYPES Bug: Call to equals() comparing different types Pattern id: EC_UNRELATED_TYPES, type: EC, category: CORRECTNESS 解释： 两个不同类型的对象调用equals方法，如果equals方法没有被重写，那么调用...
数据预处理之数据降维 PCA法
TangowL
03-03 7054
数据降维之PCA与SVD法
1*1卷积层
ding_programmer的博客
01-29 4082
Network in Network 这篇论文中 提出了 11卷积层，那么问题来了，为什么可以用11卷积层来代替全连接层 假设当前输入张量维度为6×6×32，卷积核维度为1×1×32，取输入张量的某一个位置（如图黄色区域）与卷积核进行运算。实际上可以看到，如果把1×1×32卷积核看成是32个权重W，输入张量运算的1×1×32部分为输入x，那么每一个卷积操作相当于一个Wx过程，多个卷积核就是多个神经...
使用主成分分析（PCA）方法对数据进行降维
藏知阁
03-25 2万+
我们知道当数据维度太大时，进行分类任务时会花费大量时间，因此需要进行数据降维，其中一种非常流行的降维方法叫主成分分析。 Exploratory Data Analysis 鸢尾花数据集： import numpy as np from sklearn.datasets import load_iris iris = load_iris() type(iris.data) # ...
PCA.zip_PCA 降维_PCA算法降维_pca适用于_pca降维_图片降维
07-15
PCA（主成分分析，Principal Component Analysis）是一种广泛应用的数据分析方法，尤其在高维数据处理中，如人脸识别领域。PCA的主要目标是将原始的高维数据转换为一组线性不相关的低维特征，同时尽可能保留原始数据...
NM_PCA.zip_PCA数据降维_pca_pca降维_降维_降维算法PCA
07-14
这种降维方法有助于减少数据的复杂性，同时保持数据集的主要特征，从而简化模型，提高计算效率，便于可视化，以及减少过拟合的风险。 PCA主要步骤包括以下几点： 1. **标准化**：在进行PCA之前，通常需要对数据...
pca降维算法.rar_PCA 降维_pca_pca 降维_pca算法_pca降维
07-14
PCA（主成分分析，Principal Component Analysis）是一种广泛应用的统计学方法，主要用来处理高维数据，通过线性变换将原始数据转换为一组各维度线性无关的表示，从而达到降维的目的，同时尽可能保持数据集中的方差...
PCA降维_PCA数据降维_PCA手写体降维_主成分分析_MNIST降维_
10-01
在"PCA降维_PCA数据降维_PCA手写体降维_主成分分析_MNIST降维_"这个主题中，我们将重点讨论PCA如何应用于手写体识别任务，特别是MNIST数据集。MNIST数据集是一个包含70,000个手写数字图像的大型数据库，常用于机器...
对于PCA人脸识别过程的理解
brightming的专栏
12-30 1056
参考： http://blog.youkuaiyun.com/zouxy09/article/details/45276053初步理解：1、取训练集 2、以训练集为样本，计算出协方差矩阵，减去均值后的（中心化以后的）。协方差矩阵是一个方阵，设为N*N。 3、计算相应的特征值、特征向量 特征值会有N个，每个特征值对应的特征向量是N维的。 4、每个特征向量就是一个特征脸（猜测应该就是对应每个训练集人的特征
lua pcall 异常处理
xiejunna的博客
08-09 6989
assert 处理 local temp={} local result=assert("xyz","error") assert的第一个参数为false，返回第一个参数，否则返回第二个参数 捕获异常：错误发生时，不希望代码停止，做一些处理，用pcall捕获异常 function func() print(tab[5]) end if pcall(func) then print
2016大数据创新大赛——机场客流量的时空分布预测模型解析
weixin_34327223的博客
04-05 2148
在大数据创新大赛上，来自浙江大学的SeaSide团队带来了关于机场客流量的时空分布预测的解决方案。SeaSide团队主要从时序模型、乘机流程、事件驱动、维度灾难四个方面介绍了团队的算法设计。 背景介绍 SeaSide团队所要解决的问题是利用机场大量的数据去预测每个时刻、每个无线AP的连接人数，这个结果可以很好的反映机场的客流时空分布。可用的数据可以分为...
机器学习(3.1)--PCA降维基本原理
雨落那秋林
01-28 661
PCA（Principal components analysis）也称主成分分析，是机器学习中降维的一种方法 为什么要降维 在真实的数据中有各种问题，PCA的思想是将n维特征映射到m维上（m 1、如多余的数据，商店的客流量与营业额，很明显这两组的数据相关度比较高      ,简单的理解就是把上述客流量与营业额合并成一个维度 2、由于信道不理想的，怎么滤去传输过程中的噪音    ，简单
【数据挖掘】作业一
吴政亿的博客
09-15 1903
数据挖掘 作业一 151220129 计科 吴政亿 nju_wzy@163.com 题目简述 LDA与NCA是两种常用的降维方法，请将二者与PCA对比并回答他们对数据降维的基本原理 基本原理 LDA LDA的原理是将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近。 L...
【降维方法】- 主成分分析（PCA）
Step by step
03-27 1392
推荐一篇绝对好的文章：理解PCA的数学原理首先PCA设计严格的数学推导证明！尤其设计矩阵的知识比较多，这里会简要地记录自己学习过程中觉得很重要的东西，具体的细节可以看我上面推荐的一篇文章。简介 PCA（Principle Component Analysis）主成分分析，主要应用于数据降维。 当数据集的维度过高之后，运用各种算法处理起来的时间复杂度可能会很高，所以需要对数据进行降维处理
降维（一）----说说主成分分析(PCA)的源头
热门推荐
blog
05-16 2万+
降维系列： 降维（一）----说说主成分分析(PCA)的源头降维（二）----Laplacian Eigenmaps ---------------------         主成分分析（PCA） 在很多教程中做了介绍，但是为何通过协方差矩阵的特征值分解能够得到数据的主成分？协方差矩阵和特征值为何如此神奇，我却一直没弄清。今天终于把整个过程整理出来，方便自己学习，也和大家交流。
数据降维--------主成分分析（PCA）算法原理和实现学习笔记
机器学习、数据挖掘
04-13 1万+
1 主成分分析背景 '''PCA计算步骤（思想是把数据投影到方向向量使数据集的特征向量到方向向量的垂线长度最短） 1.去平均 2.计算协方差矩阵 3.计算协方差矩阵的特征向量和特征值 4.将特征值从小到大排列 5.保留最上面的n个特征向量 6.将数据转换到上述n个特征向量构建新的空间 ''' 备注：降维过的方向向量就是新的数据集、特征向量就是数据集维度个数，通过特征向量个数限制降维的维数 在...
人脸特征降维的PCA分析方法
在人脸特征提取和降维的背景下，PCA方法能够提取最能代表人脸图像数据的特征，同时去除冗余数据和噪声，以便于后续处理，如人脸识别或分类。 在给定文件中，标题“PCA法做人脸的特征降维”明确指出了PCA在人脸图像...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值