常用的降维方法

12个降维技术的终极指南(使用Python代码) Introduction 您曾经使用过具有超过一千个功能的数据集吗? 超过50,000个功能怎么样? 我有,让我告诉你这是一项非常具有挑战性的任务,特别是如果你不知道从哪里开始! 拥有大量变量既是恩惠,也是诅咒。 我们有大量的数据用于分析,这很棒,但由于尺寸的原因,它具有挑战性。 在微观层面分析每个变量是不可行的。 我们可能需要几天或几个月才能进行任何有意义的分析,我们将为您的业务损失大量的时间和... 阅读详情

什么是降维?

大数据时代,随着数据的喷涌式生成以及数据收集量的不断增加,可视化数据变得越来越困难,提取关键信息的难度也在不断上升。而通过把高维的数据转变为低维数据,使其能够通过可视化工具直观的展示或者变成易处理的模型特征的过程叫作降维。

举个例子,描述一个人的各项特征里包括身高体重,在我们想要解释这个人的身体状况或者体质时,就可以通过身高体重来计算得到这个人的体质指数,那么二维的身高体重转换成一维的体质指数的过程就是降维。

为什么要降维?

  • 随着数据维度的减少,数据存储所需要的空间也将会减少。
  • 更少维度的数据在用来进行计算时会减少计算量及计算时间。
  • 降维可以解决冗余特征带来的多重共线性问题。
  • 降维处理过的数据可以方便的使用可视化工具来直观查看数据的内在联系。
  • 某些算法在高维度特征上的表现一般,通过降维可以提高算法可用性。

降维的方法

从大的方面看,对数据进行降维处理主要有两种:

  • 人工选择或通过算法筛选重要性高的特征(特征选择)
  • 组合变量来生成新的变量,而所包含的信息基本不变(降维)
1.缺失值比率(Missing Value Ratio)

我们在对数据进行预处理时,首先会进行探索性分析,如果发现少量的缺失值数据,我们通常选择填补缺失值或者删除这一特征;那么缺失值过多呢?

我们可以通过以下代码来查看缺失值数据在整个数据集中的缺失占比,如果超过我们设定的阈值,则删除缺失值所在列。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# 读取数据
train_data = pd.read_csv('data.csv')

# 保存各特征缺失值占比(Missing Value Ratio)
mvr = train_data.isnull().sum() / len(train_data) * 100

# 设定阈值为20,并保存缺失值比例小于20的特征
feas = train_data.columns
fea = []
for i in range(train_data.shape[1]):
    if mvr[i] <= 20: # 设定threshold为20%
        fea.append(feas[i])
2.低方差滤波(Low Variance Filter)

如果我们在查看数据集的某一列特征时发现,该列特征的所有值基本一致,即数据范围波动不大,方差很低,那么基本可以判定该列特征可提供的信息量也会特别少或者没有,此时则应该删除此类特征。

需要注意,由于方差是和数据范围相关的,所以我们在进行特征选择前需要先进行归一化处理。

feas = train_data.columns # 获取各特征的列名
fea = [] # 用来保存高方差的列

# 得到各特征的方差
vars = train_data.var()

for i in range(0, train_data.shape[1]):
    if vars[i] >= 10: # 将方差阈值设置为10%
       fea.append(feas[i])

上述代码最终选择出了所有方差大于10%的特征列。

3.高相关滤波(High Correlation Filter)

在处理数据集的时候,如果两个特征变量是高度相关的,也就是说二者之间具有相似的趋势或者携带的信息量基本相同,那么不仅会造成计算量的开销增大,也会降低某些模型的性能(比如线性和LR)。

因此我们需要计算独立数值变量之间的相关性,如果超过我们设定的阈值,则需要考虑删除该变量中的一个。

# 计算train_data中各列的相关系数
corr = train_data.corr()
corr

通常情况下,如果一对变量之间的相关系数大于0.5-0.6,我们需要考虑删除其中的一列了。

4.随机森林(Random Forest)

随机森林在作为特征选择使用的算法时,效果较为良好,也是现在广泛使用的一种特征选择办法。随机森林会自动帮我们选择出重要性高的特征。随机森林回归的输入只接受数值型数据,因此需先将数据转换成数字格式。

# 导入集成模型中的随机森林回归模型
from sklearn.ensemble import RandomForestRegressor

# 转换成矩阵(独热编码)
data = pd.get_dummies(train_data)
rfr = RandomForestRegressor(random_state = 1, max_depth = 10)
rfr.fit(data, y_train_data)

# 根据特征的重要性,绘制成图表
features = train_data.columns
importances = rfr.feature_importances_

# 前10个重要的特征
indices = np.argsort(importances[0:9])
plt.title('Feature Importances')
plt.barh(range(len(indices)), importances[indices], color='b', align='center')
plt.yticks(range(len(indices)), [features[i] for i in indices])
plt.xlabel('Relative Importance')
plt.show()

得到绘制出的图表后,我们可以根据图表中的特征来手动进行选择,从而达到降维的目的。

如果使用sklearn提供的特征选择类的话,我们可以使用SelectFromModel类,它会自动帮我们根据特征的权重选择重要的特征。代码如下:

# 从feature_selection中导入SelectFromModel类
from sklearn.feature_selection import SelectFromModel
feature = SelectFromModel(rfr) # 模型为随机森林回归
5.反向特征消除(Backward Feature Elimination)

反向特征的基本步骤:

  1. 先使用数据集中的全部特征变量,去训练一个模型;
  2. 计算模型性能;
  3. 每次删除一次特征变量后,重新计算模型性能;
  4. 确定对模型性能影响最小的特征,删除该特征;
  5. 重复此过程,直到不能再删除任何特征;

很明显可以看出来,该方法计算成本高、耗时久,因此只适用于特征变量较少的数据集。一般在构建线性回归和逻辑回归模型时选择使用此方法。

from sklearn.linear_model import LinearRegression
from sklearn.feature_selection import RFE
# 线性回归模型
lreg = LinearRegression()
rfe = RFE(lreg, 10)
rfe = rfe.fit_transform(train_data, y_train_data)
6.PCA

PCA(Principal Component Analysis)主成分分析法,即通过正交变换将原始的n维数据,变换到一个新的被称为主成分的数据集中,将从现有的大量特征中提取一组新的变量特征。下面是PCA的一些要点:

  • 主成分是原始变量的线性组合;
  • 第一个主成分具有最大的方差值;
  • 第二个主成分试图解释数据集中的剩余方差,且与第一主成分不相关(正交);
  • 第三个主成分试图解释前两个主成分没有解释的方差。
from sklearn.decomposition import PCA

# n_components 为将要转换数据中的主成分个数
pca = PCA(n_components = 4)

# 分量解释的方差
plt.plot(range(4), pca.explained_variance_ratio_)

# 累计解释的方差
plt.plot(range(4), np.cumsum(pca.explained_variance_ratio_))
plt.title("Component-wise and Cumulative Explained Variance")
总结

降维其实是一个非常重要的特征工程之一,降维的方法也多达十余种,最常见使用的有随机森林、PCA主成分分析法和ICA等等。

原文地址:www.analyticsvidhya.com/blog/2018/08/dimensionality-reduction-techniques-python/

机器学习常用降维方法 方法,我们将把数据集改成Fashion MNIST,它共有70,000张图像,其中训练集60,000张,测试集10,000张。放到实践中,就是先计算所有变量的方差大小,然后删去其中最小的几个。当缺失值在数据集中的占比过高时,一般我会选择直接删除这个变量,因为它包含的信息太少了。如上表所示,示例数据集中不存在高相关变量,但通常情况下,如果一对变量之间的相关性大于0.5-0.6,那就应该考虑是否要删除一列了。如上图所示,和其他变量相比,Item_Visibility的方差非常小,因此可以把它直接删除。 阅读详情

相关推荐

大数据特征工程:特征降维的5种常用方法对比

在大数据分析中,我们常常会遇到数据维度过高的问题。这么多的特征会让数据处理变得复杂,模型训练时间变长,甚至影响模型的准确性。特征降维就是为了解决这个问题,它可以在不损失太多重要信息的前提下,减少数据的维度。本文将聚焦于5种常用的特征降维方法,详细分析它们的特点和适用场景。本文将首先介绍特征降维的核心概念,包括相关术语和概念解释。然后详细阐述5种常用的特征降维方法,包括它们的原理、数学模型和代码实现。接着通过实际案例对比这5种方法的效果,分析它们的优缺点和适用场景。

小程序开发 863

数据降维的几种常见方法(PCA;FA;LDA;ICA等)

文章目录降维方式简述一、主成分分析(PCA)二、使用步骤1.引入库2.读入数据总结 降维方式简述 在学习ICA算法的过程中,了解到常常需要对数据进行降维,如PCA,FA等,以达到数据预处理的效果,因此查阅相关资料,在这里对数据降维的几种常见方法进行归纳、梳理。 数据降维就是降低数据的维度,达到增加样本密度以及去噪的目的。降维方式主要有两种方式: 1、一种是特征选择:直接选取原有维度的一部分参与后续的计算和建模过程,用选择的维度替代所有维度,整个过程不产生新的维度(即从现有的特征里选择较小的一些来达到降维

iceberg7012的博客 3万+

西门子AI面试问答(STAR法则回答实例)

通过建立良好的沟通渠道、倡导透明和积极的沟通,并建立信任和共享目标的文化,我成功地改善了团队合作的氛围和效果。对于一些存在分歧和冲突的情况,我采用了积极的解决问题的态度,促进双方的沟通和理解,寻找共同的利益点和解决方案。我的成果得到了评委和观众的认可,并为我的学术发展和进一步的科学研究奠定了基础。首先,我主动与团队成员进行一对一的沟通,倾听他们的观点和意见,了解他们在合作中遇到的问题和需求。我还参加了学校组织的科学俱乐部和研究小组,与其他热衷科学的同学一起进行讨论和实验,加深我的理解和实践技能。

kashine的博客 7252

看!数据分析领域中最为人称道的七种降维方法

http://dataunion.org/20803.html 感谢王穆荣的投稿,转载请注明出处:数盟社区 近来由于数据记录和属性规模的急剧增长,大数据处理平台和并行数据分析算法也随之出现。于此同时,这也推动了数据降维处理的应用。实际上,数据量有时过犹不及。有时在数据分析应用中大量的数据反而会产生更坏的性能。 最新的一个例子是采用 2009 KDD Challenge 大数据集来预测客户

zdy0_2004的专栏 1万+

关于爱思唯尔官方Latex模版参考文献不是按照引用顺序编号,乱序问题

接下来使用工具打开cas-model2-names.bst文件,全词匹配搜索。其他期刊的模版也是一样的操作,把规定序号的规则的。爱思唯尔给的Latex模版大概文件结构如此。发现是按照第一作者的姓氏的大写字母排序。命令行给注释掉,小写的sort可别注释。

weixin_42748439的博客 5116

从农田到城市:如何利用NDVI和缨帽变换提升遥感图像分类精度?

本文深入探讨了如何利用NDVI(归一化差值植被指数)和缨帽变换(Tasseled Cap Transformation)两大关键技术,有效提升从农田到城市等复杂场景的遥感图像分类精度。文章通过剖析地物光谱特征,对比了原始波段与衍生特征的优劣,并提供了在ENVI、ArcGIS及Python环境中的具体操作指南与实战策略,旨在帮助从业者构建更鲁棒的特征工程流程,从而解决地物混淆、边界模糊等常见分类难题。

redis7keeper的博客 869

【NLP】十二种属性降维的方法

降维可以用两种不同的方式来完成: (1) 只保留原始数据集最相关的变量(特征选择) (2) 通过找到一组较小的新变量,每个变量都是输入变量的组合,包含与输入变 量基本相同的信息(降维) (1)遗漏价值比率(Missing Value Ratio) 如果任何变量中缺失值的百分比大于该阈值,我们将删除该变量。 (2)低方差滤波器(Low Variance Fi...

AmorFati的博客 1636

Python主要智能优化算法库汇总

最近几年简单浏览和对比了一些智能算法的库。现将各种库的主要信息、相关优缺点简单整理如下,各位同学可根据自己的需求和喜好进行选择。 文章目录1、DEAP2、mealpy3、scikit-opt (国产良心)4、Geat2(国产用心)5、pygmo26、pyswarms7、SciPy(想不到吧)小结 1、DEAP 项目地址:https://github.com/DEAP/deap 安装: pip install deap 优点: 起点高,发表在Journal of Machine Learning Rese

半个冯博士 2万+

数据处理方法—— 7 种数据降维操作 !!

线性降维方法与非线性降维方法。线性方法,例如主成分分析(PCA)和线性判别分析(LDA),通常适用于数据具有线性分布的场景。相对地,非线性方法如t-分布随机邻域嵌入(t-SNE)、多维缩放(MDS)和局部线性嵌入(LLE),则更适合处理具有复杂分布特征的数据集。选择合适的降维技术取决于数据的固有属性及分析目标的具体需求。在适当的情境中应用恰当的降维策略,能够显著提升数据处理流程的效率以及算法的整体性能表现。

不要给自己设限,尝试更多可能(思所向 皆可往) 1万+

数字孪生教程大全之 我们如何构建数字孪生?数字孪生的五个级别都是什么

文章摘要 什么是数字孪生? 我们如何构建数字孪生? 开发智能数字孪生系统的框架 什么是数字孪生? 数字孪生是一个不言自明的术语,用于识别物理系统的数字化版本。数字孪生的最早参考来自大卫·格伦特(David Gelernter )的小说作品。在他 1995 年的书中,Gelernter 博士为读者提供了未来有趣的可能性——万维网。前网络书籍谈到了计算机系统上的镜像数字世界。有些人可能会争辩说,我们的 Meta-verse 是新的数字世界——现实世界的数字孪生。但是,还有其他可能性,时间可能会讲述一个更好的

iCloudEnd的博客 3648

YOLOv8改进,MobileNetV3轻量化架构改进特征提取网络,助力涨点

MobileNetV3通过结合硬件感知网络架构搜索(NAS)和NetAdapt算法,通过新颖的架构改进进一步提升了性能。本文开始探讨了自动化搜索算法与网络设计如何协同工作,以利用互补方法来提升整体技术水平。通过这一过程,创建了两个新的MobileNet模型:MobileNetV3-Large和MobileNetV3-Small,分别针对高资源和低资源使用场景。这些模型随后被适配并应用于目标检测和语义分割任务。

在职AI算法工程师,擅长计算机视觉,YOLO目标检测、分割等,擅长web、pyqt界面可视化,好内容持续更新中,来这里跟大家一起学习,共同进步 3836

遥感中常用的降维方法-UMAP介绍

介绍遥感中常用的特征降维技术

qq_36904533的博客 1592

国科大学习资料--人工智能原理与算法-2020年期末考试题解析(学长整理)

国科大学习资料–人工智能原理与算法-2020年期末考试题解析 张文生老师主讲 试卷共有6道题,题目不难,希望大家能取得好的成绩。 3.9 传教士和野人问题。三个传教士和三个野人在河的一岸,有一条能载一个人或者两个人的船。请设法使所有人都渡到河的另一岸,要求在任何地方野人数都不能多于传教士的人数。这个问题在AI领域中很有名,是因为它是第一个从分析的观点探讨问题形式化的论文的主题(Amarel,1968)。 a. 请对该问题进行详细形式化,只描述确保该问题求解所必需的特性。画出完整的状态空间图。 b. 应用合适

无名何许人的博客 4789

matlab高维数据降维方法,数据分析:常用的降维方法

主成分分析主成分分析(Principal ComponentAnalysis,PCA)也称主分量分析,旨在利用降维的思想,把多指标转化为少数几个综合指标。在统计学中,主成分分析是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中,使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上,第二大方差在第二个坐标(第二主成分)上,依次类推。主成分分析经常用减少数据集的维...

weixin_29047919的博客 2582

C++之2048小游戏 第二期

游戏会有初始化、绘制界面、处理输入、更新游戏状态、判断胜负等部分。所以,可能需要一个二维数组来表示4x4的网格,存储每个格子的数值。然后,需要处理键盘输入,尤其是方向键的控制,这可能需要使用EasyX的键盘事件处理函数。然后,关于图形绘制部分,每个格子的大小、颜色、数字的显示都需要设计。不同的数字对应不同的颜色,比如2是浅色,4稍深,以此类推。可能需要一个函数根据数字的值返回对应的颜色,然后在绘制时调用。接下来,处理数字的移动和合并逻辑。这是比较复杂的部分。

Lucky_Glory的博客 805

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

python怎么降维_【Python算法】常用降维方法-常用降维方法的目的

常用降维方法-常用降维方法的目的正所谓每一个结果的出现都是一系列的原因导致的,当构建机器学习模型时候,有时候数据特征异常复杂,这就需要经常用到数据降维技术,下面主要介绍一些降维的主要原理。1. 降维的目的在实际的机器学习项目中,特征选择/降维是必须进行的,因为在数据中存在以下几个 方面的问题:数据的多重共线性:特征属性之间存在着相互关联关系。多重共线性会导致解的空间不稳定, 从而导致模型的泛化能力...

weixin_36165049的博客 1057

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

常用降维方法

降维方法分为线性核非线性降维,非线性降维又分为基于核函数和基于特征值的方法。 线性降维方法:PCA  ICA LDA  LFA  LPP(LE的线性表示) 基于核函数的非线性降维方法:KPCA  KICA  KDA  基于特征值的非线性降维方法(流型学习):ISOMAP  LLE  LE  LPP  LTSA  MVU LLE(Locally Lin

xiaokang06的专栏 1万+

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

[译] 降维技术中常用的几种降维方法

原文地址:Reducing Dimensionality from Dimensionality Reduction Techniques 原文作者:Elior Cohen 译文出自:掘金翻译计划 本文永久链接:github.com/xitu/gold-m… 译者:haiyang-tju 校对者:TrWestdoor, kasheemlew 在本文中,我将尽最大的努力来阐明降维技术中常用的...

weixin_33845881的博客 1870

科研中常用的十种数据降维方法(摘自知乎)

其中,第一个新坐标轴选择是原始数据中方差最大的方向,第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的,第三个轴是与第1,2个轴正交的平面中方差最大的。t-随机邻近嵌入,它是一种嵌入模型,能够将高维空间中的数据映射到低维空间中,并保留数据集的局部特性,当我们想对高维数据集进行分类,但又不清楚这个数据集有没有很好的可分性(同类之间间隔小、异类之间间隔大)时,可以通过t-SNE将数据投影到2维或3维空间中观察一下:如果在低维空间中具有可分性,则数据是可分的;因此,所有的数据列方差小的列被移除。

Rage_Wang的博客 3568

python怎么降维_【Python算法】常用降维方法-常用降维方法解读

常用降维方法-常用降维方法解读1. 引言机器学习领域中所谓的降维就是指采用某种映射方法,将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y,其中x是原始数据点的表达,目前最多使用向量表达形式。 y是数据点映射后的低维向量表达,通常y的维度小于x的维度(当然提高维度也是可以的)。f可能是显式的或隐式的、线性的或非线性的。目前大部分降维算法处理向量表达的数...

weixin_39955233的博客 946

常用降维方法归纳

降维方法分为线性核非线性降维,非线性降维又分为基于核函数和基于特征值的方法。 线性降维方法:PCA  ICA LDA  LFA  LPP(LE的线性表示) 基于核函数的非线性降维方法:KPCA  KICA  KDA  基于特征值的非线性降维方法(流型学习):ISOMAP  LLE  LE  LPP  LTSA  MVU LLE(Locally Linear Embeddi

love198763的专栏 4519

降维常用方法SVD、PCA、CCA、NMF

最近在学习一些自然语言处理方面的知识,在学习的过程中发现,词向量构成的矩阵多为稀疏矩阵,信息比较分散,必须通过降维的方法将信息集中起来,从而方便后续的分析。本文将重点介绍几种不同降维方法的思想、区别 PCA 简介:主成分分析算法的关键在于对坐标轴进行旋转,从而找到使得数据中信息更加集中的坐标方向。简单的说就是对数据进行投影。 PCA的算法流程 对样本进行中心化 小tip:对样本中心化之后的协方差数据的分析,相当于对相关系数矩阵进行分析 计算样本的协方差矩阵 对协方差矩阵进行特征分解,找到特征值

weixin_47533705的博客 1751

常用的数据降维方法总结(更新中)

最近在了解一些行业分析指标设计方面的问题, 过程中看到了一些通用的方法,比如说降维,因此,浏览了一些网上的博文和手头的书籍,初步对降维方法做了一个汇总。还有很多需要完善的地方,根据后续学习,再来补充! 数据降维方法总结 方法 细分类别 方法思想 优点 缺点 线性方法 PCA(Pricipal Component Analysis) 数据经过...

积跬步,慕至千里的博客 4868

pca降维的基本思想_三种常用降维方法的思想总结

一.判别分析降维LDA降维和PCA的不同是LDA是有监督的降维,其原理是将特征映射到低维上,原始数据的类别也能清晰的反应在低维的数据上,也就是低维的数据也可以用来判别分类。我们先看看二维的情况,我们希望找到一个向量,使得数据点映射到这个向量上后,两个类间的距离尽可能,两个类内的样本的距离尽可能小。这样就得到了一个目标函数,分子是投影后两个类间均值的差的平方,我们希望这个值尽可能大,分母是投影后的类...

weixin_42554151的博客 2116
上一篇: 使用scikit-learn进行初步的数据预处理
下一篇: 总结:编写Hive UDF自定义函数(通过IP地址查询所属省份地市和运营商)
shmilygkd
博客等级 码龄10年 1粉丝 4原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值