机器学习探索性数据分析的数据类型

心电图心跳信号多分类预测-探索性数据分析(EDA) EDA的价值主要在于熟悉数据集,了解数据集,对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。 完成对于数据的探索性分析,并对于数据进行一些图表或者文字总结并打卡。 具体python包 载入各种数据科学以及可视化库: 数据科学库 pandas、numpy、scipy; 可视化库 matplot 阅读详情
数据类型是统计学中的重要概念,我们需要对它有正确的理解方能利用正确的数据类型来获得结论。这篇文章将介绍几种用于机器学习探索性数据分析的数据类型,以便正确的把握和利用数据。
对数据结构的良好理解对于机器学习中探索性分析十分重要,对于不同的数据类型我们需要不同的统计学度量手段来进行分析测试。同时也需要根据数据的类型选择合适的可视化方式来帮助我们更好的理解数据。最后数据类型也为变量的分类提供了一个有效的途径。
分类数据
分类数据代表着对象的属性特点。诸如人群的性别、语言、国籍大都属于分类数据。分类数据通常也可以用数值表示(例如1表示女性而0表示男性),但需要注意的是这一数值并没有数学上的意义仅仅是分类的标记而已。
  定类数据
定类变量用于标记不同变量的特征,而并不需要定量的数值,它们仅仅是标签而已。需要注意定类数据是无序的,对于变量顺序的更改不会改变数据的本质特征。

上图中表示的便是一个样本典型的分类数据,分别描述了个体的性别和语言属性。特别的作图中是一个只有两个属性的二叉分枝。
  定序数据
定序数据代表了离散但是有序的变量单位。它于定类数据十分类型但确实有序的数据组织。下面教育背景的数据很好地的描述了定序数据的特点。

上图中的四个选项依次表示了不同的受教育程度,但却无法量化初级教育与高中的差别和高中与大学差别间的不同。定序数据缺乏对于特征间差别的量化使得它更多的只能用于评价利于情绪和用户满意度等一系列非数值特征。
数值数据
  离散数据
离散数据是指其取值是不连续的分离值,数据只能在一些特定点取值。这样的数据不能定量测量但可以进行统计计量,并可将其蕴含的信息通过分类的方式进行表示。掷硬币便是最著名的例子,我们无法预测出下一次硬币的正反但是可以通过统计历史数据来估测概率的分布。
当处理离散数据时我们需要对两个问题进行深入思考:数据是否可以计数统计,是否可以分割成较小的部分。如果结论于此相关数据可以被测量而不能够计数,那么意味着我们需要处理的便是连续的数据类型。
  连续数据
连续数据类型代表着对象可测量的连续取值,虽然不能够计数但是可以用某种尺度进行连续的测量取值,例如人的身高和年龄便是连续的数值。通常情况下人们只用或者实数来进行表示。
定距数据
定距变量用于表示对象等差属性的描述方法。当我们使用定距变量时我们可以明确的知道数值间的顺序和差别,并计量这种差别。对于温度的描述就是一个定距数据典型的例子。

但定距变量存在的问题在于它没有一个绝对的基准零值,对于上图中的温度来说0度并不意味着没有温度。对于定距变量来说我们可以进行加减操作却无法进行乘除或者比例计算操作。由于不存在绝对零值使得描述性和推理性的统计方法都无法在定距数据上应用。
定比数据
定比数据和定距数据一样都是有序的数据排列,但定比数据存在一个绝对的零值,所描述的都是具有零值基准的变量,包括重量、高度和长度等。

为何数据类型如此重要?
由于不同的统计方法适用于不同的数据类型,所以数据的类型对于统计和机器学习分析十分重要。试想如果利用连续数据的分析方法来研究分类数据,那么十有八九会得出错误的结论。对于数据类型的理解将会有助于我们选择正确的方法和统计模型来探索和分析数据。那么不同的数据类型我们该选择何种统计模型来分析呢?
对于定类数据来说主要需要关注频率、比例/百分比和可视化方法三个要素。用频率度量某一事物在一定时间或者是在数据集中发生的次数。同时可以用频率将其从数据中的占比进行统计和分离。对于这列数据来说饼图和柱状图是最好的呈现方式。

对于定序数据来说除了百分比和频率等指标外,还可以利用百分位数、中位数等统计指标来描述数据。
对于连续数据来说可以利用更为丰富的的手段进行处理,除了常见统计手段的均值和方差外还有峰峰值、范围等指标来进行表示。为了表示数据的误差和离散程度,带有误差棒的箱式图和直方图不失为一种直观的呈现方式。通过箱图可以看到数据的集中程度和误差程度,而直方图则可以提供数据的整体形态、中值、分布以及趋势。

在这篇文章中我们看到除了连续和离散的数值类型外,统计学中还包括了定序数据、定类数据、定距数据和定比数据等类别。对于不同的数据类型有着不同的分析和可视化方法,在着手处理数据时,理解数据是开始工作的首要条件,不仅有助于我们选择正确的工具和方法,更有助于我们用正确的思维去探索和分析数据,更容易地得出正确有效的结论。
-The End-
来源: Machine Learning Blog
编译:T.R


29、应用机器学习:识别信用违约 本博客详细介绍了如何应用机器学习技术来识别信用违约风险。通过使用来自UCI机器学习库的台湾银行信贷数据集,展示了从数据加载、内存优化、探索性数据分析,到数据预处理、模型训练以及超参数调优的完整流程。重点包括分类变量编码、缺失值处理、决策树分类器的使用以及通过管道和网格搜索提升模型性能。最终通过可视化和统计分析手段,深入理解数据特征并优化模型预测准确性,适用于金融风控领域的实践参考。 阅读详情

相关推荐

Python 数据分析教程之在构建机器学习模型之前如何分析数据?(教程含源码)

要构建在生产环境中表现良好的机器学习模型,我们需要了解数据。如果不知道数据,我们就无法建立一个好的模型。因此,构建机器学习模型的第一步是了解数据并获得数据集中的洞察力和潜在模式。在这篇博客中,我将分享一些我的想法,以了解数据的洞察力。

iCloudEnd的博客 351

数据科学与大数据分析学习笔记-4探索性数据分析

探索性数据分析Anscombe’s quartetDirty Data可视化单个变量研究多个变量箱线图(box-and-whisker plot)适用于大型数据集的蜂巢图(hexbinplot for large data)scatterplot matrix散点图矩阵Data Exploration Versus Presentation评估统计方法之Hypothesis testingA common hypothesis test---Difference of MeansStudent’s t-te

Jifu_M的博客 1452

机器学习笔记 - 探索性数据分析(EDA) 入门案例四

一、数据集说明 1、数据集 Tabular Playground Series - Feb 2022 | KagglePractice your ML skills on this approachable dataset!https://www.kaggle.com/c/tabular-playground-series-feb-2022/data 对于这个挑战,您将根据 DNA 片段的重复有损测量来预测细菌种类。使用拉曼光谱分析长度为 10 的片段,该光谱计算片段中碱基的直方图。 ...

学以致用 知行合一 956

大数据开发_EDA

1. 前言 对于从事大数据开发,数据挖掘或者机器学习领域的同学来说,当面对陌生的海量数据时,往往最先做的不是急着去开发功能,而是去认识数据和清洗数据。...

hxcaifly的博客 5348

大数据平台架构及与EDA云化关系.

大数据平台架构及与EDA云化关系.hadoop数据库架构

K型热电偶分度表读取方法

K型热电偶分度表读取方法

guaizaiguaizai的博客 5905

机器学习探索性数据分析的数据类型(补充)

探索性数据分析(Exploratory Data Analysis, EDA ) EDA是指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。特别是当我们对这些数据中的信息没有足够的经验,不知道该用何种传统统计方法进行分析时,探索性数据分析就会非常有效。 离散属性: 若属性值间存在...

Shingle_的博客 1081

TASK02【datawhale组队学习】视觉感知与手眼协调,计算机视觉在机器人中应用,手眼标定算法实现,深度估计与3D重建

参考教程AI硬件与机器人技术教程:https://github.com/datawhalechina/ai-hardware-robotics视觉感知与手眼协调,计算机视觉在机器人中应用,手眼标定算法实现,深度估计与3D重建单目深度估计 (Monocular Depth Estimation)DPT 的全称是 Dense Prediction Transformer。

m0_52024881的博客 1191

EDA流程(探索性数据分析),史上最全面

EDA概述 介绍 探索性数据分析(Exploratory Data Analysis,简称EDA),是指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律了解数据集,了解变量间的相互关系以及变量与预测值之间的关系的一种数据分析方法。特别是当我们对面对大数据时代到来的时候,各种杂乱的“脏数据”,往往不知所措,不知道从哪里开始了解目前拿到手上的数据时候,探索性数据分析对后续特征工程和建模工作非常有效。 ...

qq_58832911的博客 2万+

欧姆龙PLC EIP通讯配置方法

欧姆龙EIP通讯配置方法

weixin_59671695的博客 6138

医学图像处理入门:如何用Python将CT灰度图转换为伪彩色图像(附代码)

本文详细介绍了如何使用Python将CT灰度图转换为伪彩色图像,提升医学图像的可读性和诊断效率。通过OpenCV和Matplotlib等工具,实现灰度值到彩色空间的映射,特别适用于突出显示特定组织密度差异。文章包含完整代码示例和临床实用技巧,适合医学影像分析初学者和Python开发者。

gitlab7runner的博客 326

因子分析的实用介绍:探索性因子分析

因子分析的实用介绍:探索性因子分析 目的:   文章主要介绍探索性因子分析的基本概念和相关理论,并结合小案例进行讲解。 探索性因子分析(EFA)因子分析的实用介绍:探索性因子分析目的:介绍1. 一个小案例(SAQ:SPSS Anxiety Questionnaire)2. 皮尔逊相关公式3. 因子分析的方差划分因子提取1. 主成份分析(PCA)2. 共同因子分析(CFA)a. 主轴因子法(PAF)b. 最大似然旋转方式1. 简单结构2. 正交旋转法(Varimax)3. 斜交旋转(Direct Oblimi

weixin_43245268的博客 1万+

高速电路的信号完整性分析

摘要:介绍了高速PCB设计中的信号完整性概念以及破坏信号完整性的原因,从理论和计算的层面上分析了高速电路设计中反射和串扰的形成原因,并介绍了IBIS仿真。 关键词:信号完整性 反射 串扰 IBIS仿真 随着半导体技术和深压微米工艺的不断发展,IC的开关速度目前已经从几十MHz增加到几百MHz,甚至达到几GHz。在高速PCB设计中,工程师经常会碰到误触发、阻尼振荡、过冲、欠冲、串...

bh_wang的专栏 1431

李沐老师机器学习斯坦福课程笔记

记录自己学习的笔记

libingyu_的博客 231

从ViT到Swin Transformer:一文搞懂Transformer在CV中的进化史(附实战代码)

本文系统梳理了Transformer在计算机视觉领域的演进历程,从开创性的Vision Transformer(ViT)引入全局注意力机制,到DETR实现端到端目标检测,再到里程碑式的Swin Transformer通过滑动窗口和层次化设计高效桥接CNN与ViT。文章深入剖析了各模型的核心思想、技术突破与实战应用,并提供了可运行的代码示例,帮助读者从理论到实践全面掌握这一关键技术脉络。

cola5的博客 713

Ceph入门到精通-存储桶通知

这 通知还可以根据前缀的匹配项过滤掉事件,并且 (1) 键的后缀,(2) 附加到对象的元数据属性, 或 (3) 对象标签。在此模式下,操作仅在以下之后确认(确认) 通知将发送到主题的已配置终端节点。这意味着 通知的往返时间(发送 通知主题的终端节点以及接收 确认)被添加到操作本身的延迟中。要更新主题,请使用用于创建主题的相同命令(但在 更新时,使用现有主题的名称和不同的终端节点值)。端口:对于未加密的连接,默认为 5672,对于未加密的连接,默认为 5671 SSL 加密连接。(默认情况下,这是“假的”。

隔壁老瓦的专栏 1131

跟李沐学AI——实用机器学习(入门版)

机器学习目录 2.1 探索性数据分析 2.2 数据清理 2.3 数据变换 2.4 特征工程 2.5 数据科学家的日常 Stanford University Practical machine learning 2.1 探索性数据分析 ​ 对目标的ftr数据进行处理,针对不同的信息做出不同的图形 输出数据集的行数和列数以及前十行元素 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seabor

日常发呆 1503

【SCADA】KingSCADA将数据插入SQLServer的方法

1、创建数据库及数据表格;2、配置ODBC数据源。3、通过KingSCADA与数据库建立连接,将数据写入数据库对应表格。

做有价值的事,积累有价值的笔记! 4960

Python机器学习:使用Pandas进行探索性数据分析 Ⅰ

利用Pandas进行会计业务数据分析可视化,并利用机器学习训练模型来进行预测,Pandas是一个强大的数据分析工具,是经常进行数据分析处理的人必不可少的强力伙伴!

北天的博客 2401

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

斯坦福21秋季:实用机器学习2.1

展示了用于探索性数据分析(EDA)的基本技术,包括理解列的数据类型、值以及分布情况理解列之间的相互作用。

weixin_41483169的博客 468

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

机器学习-探索性数据分析

将与钱相关的列加入currency数组,之后分别对这些列用正则表达式将"$“”,“”-"号全部删掉,下一个是若是空字符串,直接转成numpy的not a number,之后将这些列的数据都转成float类型的数据。拿出房间面积小于10或大于10000的列(不正常的),第二行代码把除不正常数据之外的其他数据留下,再看有多少不正常的数据。看各个类型房子的每平米的价格的分布,色块内的横线表示均值,色块上界和下界分别表示75%和25%的分位数。看不同邮政编码的房子的单位面积的均价分布。展示各个数据列的数据类型。

m0_74478829的博客 314

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

数据科学研讨会(五)

上一章主要讨论了如何改进我们的机器学习模型,并解释其结果和参数,以便为业务提供有意义的见解。本章开启了本书的第三部分:提升您的数据集。在接下来的三章中,我们将退后一步,专注于任何机器学习模型的关键输入:数据集。我们将学习如何探索一个新的数据集,准备它进入建模阶段,并创建新的变量(也叫做特征工程这些都是非常激动人心且重要的主题,所以让我们开始吧。当我们提到数据科学时,大多数人想到的是构建精密的机器学习算法来预测未来的结果。他们通常不会想到数据科学项目中涉及的所有其他关键任务。

龙哥盟 907

机器学习中如何使用数据集?

数据集能进行机器学习吗?数据集是所有共享一个公共属性的实例的集合。 机器学习模型通常将包含一些不同的数据集,每个数据集用于履行系统中的各种角色。机器学习中如何使用数据集?当任何经验丰富的数据科学家处理与ML相关的项目时,将完成60%的工作来分析数据集,我们称之为探索性数据分析(EDA)。 这意味着数据在机器学习中起着重要作用。 在现实世界中,我们需要处理大量数据,这使得使用普通大熊猫进行计算和读取数据似乎不可行,这似乎需要花费更多时间,并且我们的工作资源通常有限。 为了使其可行,许多AI研究人员提出了一种解

gu1857035894的博客 4280

【Python】Pandas 探索性数据分析综合实战

本文主要分析数据、组织数据、清洗、过滤、排序、聚合、可视化变量之间的关系、分类图和数据的分散性。在一个数据科学项目的生命周期中,我们有70%以上的时间用于数据分析,比如进行特征工程和特征选择。特征工程讲的是根据我们的直觉用有效的数据来填补缺失值,纠正错误的数据类型,组织不平衡的数据集,而特征选择讲的是只选择那些有助于预测变量或你感兴趣的输出的特征。要做好探索性数据分析,需要对pandas、nump...

fengdu78的博客 676

数据分析--

模式识别作业

py今天刷题了吗 147

机器学习:数据分析

建议存成压缩文件,在传输存储都会比较好,甚至还会比直接读取还要好(这个方法可用于文本)数值列转换完成后,需要查看各列的最小值(min)和最大值(max),因为有些列的极值明显不合理,可能存在异常值或数据错误。pandas:也是用于数据分析,擅长处理表,数据没那么大要放入内存中,这将是首选;1.将带’$’的货币字符串,去掉’$’后转为可被识别转换的浮点数float。如果一个列30%的样本该列数据是缺失的,就把该列删去,简化数据。[0:20]:切片取前 20 个(出现频率最高的 20 种)

2403_88436129的博客 210
上一篇: 深度学习实践
下一篇: 机器学习探索性数据分析的数据类型(补充)
Shingle_
博客等级 码龄10年 185粉丝 191原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值