数据降维方法汇总

【数据降维】数据降维方法分类 数据降维基本原理是将样本点从输入空间通过线性或非线性变换映射到一个低维空间,从而获得一个关于原数据集紧致的低维表示。 数据降维工具箱drtoolbox中众多算法,这里简单做个分类。 因为很多并没有仔细了解,在此次只对八种方法做分类:主成分分析(Principal Component Analysis,PCA)、线性判别分析(Linear Discriminant Analysis,LDA)、等 阅读详情
  • 数据降维的应用:①降低数据的存储量;②加快机器学习的速度;③数据可视化
  • 数据降维的本质: 方差

PCA(主成分分析)

  1. 简介:principal component analysis,
  2. 原理:对于一个未知的系统,我们假设它有n个参数。我们想要求出那些参数最重要,而把不重要的参数给抹掉,从而降低参数向量的维数。PCA的问题其实是一个基的变换,使得变换后的数据有着最大的方差。
  3. 算法过程:

    1)对于一个训练集,20个sample(i=1,2,3,…,20),特征Xi是100维Xi1,Xi2,Xi3,…Xij,…,Xi100,那么它可以建立一个20*100的样本矩阵M。
    2)紧接着我们开始求这个样本的协方差矩阵,得到一个20*20的协方差矩阵,计算过程如下:
      •先求解出Xi的平均Xav=(∑xi)/20;
      •对每一个Xi,计算Xi-Xav,即Mi(第 i 行)变为 Mi-Xav,记为Mn;
      •则容易得到协方差矩阵Z为Mn*Mn’( ’ 表示转置 ) 。
    3)然后求出这个协方差矩阵Z20x20的特征值和特征向量,一般情况下应该有20个特征值和特征向量,现在根据特征值的大小,取出较大的特征值以及其所对应的特征向量,(假设提取的特征值为较大的5个特征值),那么这5个特征向量就会构成一个20*5的矩阵V,这个矩阵就是我们要求的特征矩阵。

    4)用Mn’去乘以V,得到一个base矩阵(*),大小为100x5。

    5)任取一个样本1x100,乘上这个100*5的特征矩阵,就得到了一个1*5的新的样本,显然每个sample的维数下降了,然后再用这个1x5向量去比较相似性。

MDS(多维尺度分析)

  1. 简介:multidimensional scaling,根据样本是否可计量,又分为计量多元尺度法(Metric MDS)和非计量多元尺度法(Nonmetric MDS)。
方法优点缺点
Metric精确耗时,计算成本高
NonMetric样本尺度为ordinal,简便,直观,应用范围更广无法知道评估准则,效果较差
  1. 原理:
    定义一个距离函数的集合,如下:

    Δ=⎡⎣⎢δ1,1δ2,1δ3,1δ1,2δ2,2δ3,2δ1,3δ2,3δ3,3⎤⎦⎥

    其中 δi,j 表示第i个和第j个对象之间的距离,MDS算法的目的是根据上述的 Δ 寻找与对象数同样多的向量,使得 ||xi−xj||≈δi,j ,其中 ||.||为向量的范数,欧式距离之类的东西。
    mds本质就是找到一个子空间,物体嵌入子空间中,彼此的相似度与Δ类似,即针对相似度的一个优化问题

  2. 算法:

    原理部分:见博客

ISOMAP(流行学习)

  1. 基本思想:高维空间发现低维结构
  2. 产生背景:PCA降维无法发现一些卷维结构
  3. 算法过程:

    1.通过kNN(k-Nearest Neighbor)找到点的k个最近邻,将它们连接起来构造一张图。
    2.通过计算同中各点之间的最短路径,作为点之间的距离dij放入距离矩阵D
    3.将D传给经典的MDS算法,得到降维后的结果。

    RF|DT(随机森林|决策树)

    因为随机森林或者决策树的分类规则是属性所含有信息量的多少,so可以目标属性为因变量,需要降维的属性集为自变量,放入随机森林中进行训练,然后输出自变量的feature_importance,选取包含信息量最大的特征子集即可。

缺失值比率 (Missing Values Ratio)

该方法的是基于包含太多缺失值的数据列包含有用信息的可能性较少。因此,可以将数据列缺失值大于某个阈值的列去掉。阈值越高,降维方法更为积极,即降维越少。

低方差滤波 (Low Variance Filter)

与上个方法相似,该方法假设数据列变化非常小的列包含的信息量少。因此,所有的数据列方差小的列被移除。需要注意的一点是:方差与数据范围相关的,因此在采用该方法前需要对数据做 归一化处理 。

高相关滤波 (High Correlation Filter)

高相关滤波认为当两列数据变化趋势相似时,它们包含的信息也显示。
注意:①相关系数对范围敏感,计算前需做归一化处理
②相关系数有一个明显的缺点,它接近于1的程度与数据组数n相关,当n较小,不能仅凭相关系数判定大小

变量类型相关系数计算方法
数值变量相关系数
分类变量 λ−两个定类变量
τ−两个定类变量或一个定类一个定序
ρ−两个定序变量
G−两个定序变量
η2−一个定距一个定序变量


  • 相关系数法 r:
    r=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2∑ni=1(yi−y¯)2−−−−−−−−−−−−−−−−−−−−−−√
|r|0.3以下0.3-0.50.5-0.80.8以上
相关程度轻微相关低度相关中度相关高度相关


  • λ 系数

λ=∑fim−FYmN−YYm

fim−x每一类别中Y分布的众数次数;
FYm−Y边缘分布中的众数次数;
YYm−Y总数;
N−总体单位数

适用于两个定类变量的相关性测定,具有消减误差比例的意义,取值范围0-1,值越大相关性越大
例如:

态度男女合计
容忍
<反对>
48
20
8
44
56
64
合计6852120

λ=(48+44)−64120−64=0.5


  • τ 系数

    τ=∑∑f2uFu−F2unn−∑F2un

  • ρ 系数(斯皮尔曼等级相关系数)

ρ=1−6∑D2N(N2−1)

D—表示两变量中,每对x和y等级之差,这个差的正值之和应该等于负值之和

  • G 系数

    G=Ns−NdNs+Nd

    Ns表示同序对;Nd表示异序对

  • η2 系数

    η2=∑NiY¯¯¯2i−NY¯¯¯2∑Y2−NY¯¯¯2

    Ni−每一类x的单位数
    N−全部单位数
    Y¯¯¯i−每一类x中Y值的算术平均数
    Y¯¯¯全部Y值的算术平均数

反向特征消除 (Backward Feature Elimination)

在该方法中,所有分类算法先用 n 个特征进行训练。每次降维操作,采用 n-1 个特征对分类器训练 n 次,得到新的 n 个分类器。将新分类器中错分率变化最小的分类器所用的 n-1 维特征作为降维后的特征集。不断的对该过程进行迭代,即可得到降维后的结果。第k 次迭代过程中得到的是 n-k 维特征分类器。通过选择最大的错误容忍率,我们可以得到在选择分类器上达到指定分类性能最小需要多少个特征

前向特征构造 (Forward Feature Construction)

前向特征构建是反向特征消除的反过程。在前向特征过程中,我们从 1 个特征开始,每次训练添加一个让分类器性能提升最大的特征。前向特征构造和反向特征消除都十分耗时。它们通常用于输入维数已经相对较低的数据集。

【YOLO 系列】基于YOLOv8的工业零件表面缺陷智能检测系统【python源码+Pyqt5界面+数据集+训练代码】 本文详细介绍了如何基于YOLOv8深度学习模型和PyQt5图形界面,构建一套完整的工业零件表面缺陷智能检测系统。内容涵盖从环境搭建、数据集标注、模型训练调参到最终封装成可执行桌面软件的全流程,并深入解析了YOLOv8在工业视觉场景中的技术优势与落地优化策略。 阅读详情

相关推荐

5分钟快速验证lvgl界面:VScode模拟器极简配置法(免环境变量版)

本文介绍了一种5分钟快速验证LVGL界面的极简配置方法,使用VSCode模拟器免环境变量配置,适合UI设计师和产品经理快速预览界面效果。通过预编译的SDL2库和配置好的VSCode工程模板,实现开箱即用的LVGL界面验证,大幅提升工作效率。

weixin_30790841的博客 315

常用的降维方法

什么是降维? 大数据时代,随着数据的喷涌式生成以及数据收集量的不断增加,可视化数据变得越来越困难,提取关键信息的难度也在不断上升。而通过把高维的数据转变为低维数据,使其能够通过可视化工具直观的展示或者变成易处理的模型特征的过程叫作降维。 举个例子,描述一个人的各项特征里包括身高体重,在我们想要解释这个人的身体状况或者体质时,就可以通过身高体重来计算得到这个人的体质指数,那么二维的身高体重转换成...

amenhub 7717

游戏开发实战:5种AOI算法对比(九宫格 vs 灯塔 vs 十字链表)

本文深入对比了游戏开发中五种主流AOI算法(九宫格、灯塔、十字链表等)的性能与适用场景,帮助开发者根据项目规模选择最优解决方案。通过详细的技术分析和实战数据,揭示不同算法在万人同屏等极端场景下的表现差异,为MMORPG等大型多人在线游戏提供关键性能优化指南。

weixin_29268385的博客 476

数据降维的几种常见方法(PCA;FA;LDA;ICA等)

文章目录降维方式简述一、主成分分析(PCA)二、使用步骤1.引入库2.读入数据总结 降维方式简述 在学习ICA算法的过程中,了解到常常需要对数据进行降维,如PCA,FA等,以达到数据预处理的效果,因此查阅相关资料,在这里对数据降维的几种常见方法进行归纳、梳理。 数据降维就是降低数据的维度,达到增加样本密度以及去噪的目的。降维方式主要有两种方式: 1、一种是特征选择:直接选取原有维度的一部分参与后续的计算和建模过程,用选择的维度替代所有维度,整个过程不产生新的维度(即从现有的特征里选择较小的一些来达到降维

iceberg7012的博客 3万+

9 海康视觉平台VisionMaster 上手系列:典型案例之螺丝机案例

海康视觉平台VisionMaster 上手系列:典型案例之螺丝机案例 快速入门 工业机器视觉 机器视觉

HuangGong2022的博客 7182

数据挖掘之降维

自变量维度过多会给所有数据挖掘方法带来麻烦:(1)自变量过多会导致建模算法的运行速度慢。(2)自变量的维度增加时,过度拟合的可能性也会随之增大。(3)自变量维度越多,数据在整个输入空间的分布越稀疏,越难以获得对整个输入空间有代表性的样本。例如,如果只有一个均匀分布的二分自变量,那么1000个观测意味着平均每种取值对应于500个观测;但如果有10个均匀分布的二分自变量,总共有210=1024种取值,

huobanjishijian的专栏 2413

2019年高教社杯全国大学生数学建模竞赛 C 题:《机场的出租车问题》真题解析与 MATLAB 解决方案

🏆 本文已收录于专栏:《滚雪球学数学建模(含历年真题)》,持续更新最新及历年数学建模竞赛资料,每篇内容力求做到“问题讲透、模型讲清、代码可用、论文可参考”,帮助你从零开始逐步建立完整的数学建模知识体系。

**My Coding Family** 3459

python学习——使用决策树进行特征降维

555

m0_37876745的博客 1556

【HOJ系列】HOJ判题机部署

【HOJ系列】HOJ判题机部署

随风浪仔的专栏 905

综述性论文别再堆砌文献!用GPT-5.1 Thinking轻松攻克四大关键难点,真正实现高效高质撰写(附AI提示词)

逻辑构建上以往都是先梳理一篇文献的领域研究脉络,明确其发展阶段、核心议题等,再搭建初步的大纲,借助思维导图或者别的方式将筛选后的文献观点按主题归类到对应章节,理清楚每个章节间的递进或并列关系,最后再逐个章节进行补充过渡表述,那么做的目的其实就是摆脱文献堆砌问题。人工做法往往是对比不同文献的研究方法、数据来源与核心结论,再清晰标注每类成果的优缺点,找到文献中存在的争议焦点,找到之后再梳理争议产生的核心原因,最后在基于现有研究,推出还未被探索的研究方向,从而提炼出创新切入点。2)文献之间的相同点与不同点;

智能AI让学术科研更容易 175

数据处理方法—— 7 种数据降维操作 !!

线性降维方法与非线性降维方法。线性方法,例如主成分分析(PCA)和线性判别分析(LDA),通常适用于数据具有线性分布的场景。相对地,非线性方法如t-分布随机邻域嵌入(t-SNE)、多维缩放(MDS)和局部线性嵌入(LLE),则更适合处理具有复杂分布特征的数据集。选择合适的降维技术取决于数据的固有属性及分析目标的具体需求。在适当的情境中应用恰当的降维策略,能够显著提升数据处理流程的效率以及算法的整体性能表现。

不要给自己设限,尝试更多可能(思所向 皆可往) 1万+

基于MATLAB开发AUTOSAR软件应用层模块-part3.自动生成的代码文件介绍

上篇文章我们介绍了如何设计一个简单的模型,之后自动生成autosar架构的代码,这篇文章我带大家看下,生成了哪些文件,以及这些文件的内容。 生成的文件见下图: model files是模型控制逻辑部分代码,包括 DEMO1.c DEMO1.h DEMO1_private.h DEMO1_types.h DEMO1.c 1 /* 2 * File: DEMO1.c 3 * 4 * Cod.

汽车软件开发 1978

线性与非线性数据降维方法汇总(Python代码实现)

????作者简介:大家好,我是车神哥,府学路18号的车神???? ????个人主页:应无所住而生其心的博客_府学路18号车神_优快云博客 ????点赞➕评论➕收藏 == 养成习惯(一键三连)???? ⚡希望大家多多支持????~一起加油 ???? 专栏《Fault Diagnosis》 其他专栏: 《LeetCode天梯》 《Neural Network》 《Python》 《Algorithm》 数据降维方法及Python实现前言大纲线性数据降维主元分析(PCA)偏最小二乘法(PLS)独立成分

车手只需要车和手,压力来自轮胎 4692

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

【python】数据挖掘分析清洗——特征选择筛选(降维)方法汇总

特征降维是指通过某种方法将高维数据转换为低维数据的过程,同时尽可能地保留原始数据中的信息。在实际应用中,我们经常会面对大量的高维数据,如何有效地处理这些数据,发现其中潜在的规律和关系,是很重要的问题。特征降维可以帮助我们减少数据量和计算复杂度,并且可以避免过拟合等问题。数据如下图所示PCA降维技术、SVD降维和因子分析都是常用的数据降维方法。它们可以帮助我们从高维度的数据中提取出最重要的信息,从而简化数据、加速计算和减少噪音。

weixin_47058355的博客 2716

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

常用的数据降维方法总结(更新中)

最近在了解一些行业分析指标设计方面的问题, 过程中看到了一些通用的方法,比如说降维,因此,浏览了一些网上的博文和手头的书籍,初步对降维方法做了一个汇总。还有很多需要完善的地方,根据后续学习,再来补充! 数据降维方法总结 方法 细分类别 方法思想 优点 缺点 线性方法 PCA(Pricipal Component Analysis) 数据经过...

积跬步,慕至千里的博客 4868

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

降维方法总结

目录 数据降维方法: 降维: 降维的用处: 降维方法思想分类: 降维方法总览 降维方法详细说明 1. 缺失值比率(Missing Value Ratio) 2. 低方差滤波(Low Variance Filter) 3. 高相关滤波(High Correlation filter) 4. 随机森林(Random Forest) 5. 反向特征消除(Back...

时间虚掷的孤岛 1万+

数据降维方法小结

数据的形式是多种多样的,维度也是各不相同的,当实际问题中遇到很高的维度时,如何给他降到较低的维度上?前文提到进行属性选择,当然这是一种很好的方法,这里另外提供一种从高维特征空间向低纬特征空间映射的思路。数据降维的目的  数据降维,直观地好处是维度降低了,便于计算和可视化,其更深层次的意义在于有效信息的提取综合及无用信息的摈弃。数据降维的方法  主要的方法是线性映射和非线性映射方法两大类。

yujianmin1990的专栏 3万+

九种降维方法汇总

特征降维

u012121721的博客 5713

七种降维方法

近来由于数据记录和属性规模的急剧增长,大数据处理平台和并行数据分析算法也随之出现。于此同时,这也推动了数据降维处理的应用。实际上,数据量有时过犹不及。有时在数据分析应用中大量的数据反而会产生更坏的性能。 最新的一个例子是采用 2009 KDD Challenge 大数据集来预测客户流失量。 该数据集维度达到 15000 维。 大多数数据挖掘算法都直接对数据逐列处理,在数据数目一大时,导致算法

William Zhao's notes 6万+

数据降维:尽显多彩,更多降维方法解析

数据降维的方法有哪些?如何进行数据降维?本文将对数据降维问题进行一个探讨,旨在给各位数据科学家提供一个参考

theskylife的博客 2218

机器学习数据降维方法

数据降维的核心作用是通过减少数据的维度(特征数量),同时尽可能保留关键信息,从而解决高维数据带来的问题。

qq_55433305的博客 1813

Python机器学习20——三十种数据降维方法全面解析(最全数据降维方法总结)

三十种数据降维的方法使用(skleran),全面解析,数据降维算法使用全面总结。

weixin_46277779的博客 2410

numpy的array数组的数据升维与降维使用方法自学总结

本文主要介绍numpy中数据升维与降维问题 升维 注意数组的形式 是n行1列 还是1行n列 1.numpy.atleast_2d(数组名) 将输入视为至少具有二维的数组 2.numpy.atleast_3d(数组名) 以至少三个维度的数组形式查看 3.数组名[:,np.newaxis] 升维一次 冒号在前是生成n行1列 如下 4.数组名[np.newaxis,:] 升维一次 冒号...

weixin_44776220的博客 1万+

数据降维方法总结

Introduce经过这几天面试后,我发现数据降维这一块在工业界用的很多或者说必不可少,因此,这方面需要重点关注。今天,我将数据降维总结于此,包括他人成果,这里对他们的内容表示感谢。Method对数据降维作用有多个角度的理解。吴恩达在他的视频中说,降维是用于数据压缩,降低噪声,防止运行太慢内存太小;当降到2或3维可以可视化操作,便于数据分析;不要将降维用于防止过拟合,容易去掉和标签有关的重要特征。但

sqiu_11的博客 2万+

关于数据降维的几种方法

数据降维是指将高维数据转化为低维数据的过程。在现实生活中,我们常常面临高维数据的问题,例如图像数据、文本数据、传感器数据等。高维数据在存储、处理和可视化方面都具有挑战性,而且可能导致过拟合问题。数据降维技术目的在于找到数据中最重要的特征或维度,以保留尽可能多的信息同时减少数据的维度。通过降低数据维度,可以提高数据处理的效率、降低计算成本、减少存储空间的需求,并且有助于可视化和理解数据。数据降维可以分为两种主要的方法:特征选择和特征提取。

weixin_71158509的博客 2084
下一篇: SVM算法实例解析及应用
RuDing
博客等级 码龄9年 19粉丝 7原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值