机器学习探索性数据分析的数据类型

心电图心跳信号多分类预测-探索性数据分析(EDA) EDA的价值主要在于熟悉数据集,了解数据集,对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。 完成对于数据的探索性分析,并对于数据进行一些图表或者文字总结并打卡。 具体python包 载入各种数据科学以及可视化库: 数据科学库 pandas、numpy、scipy; 可视化库 matplot 阅读详情
数据类型是统计学中的重要概念,我们需要对它有正确的理解方能利用正确的数据类型来获得结论。这篇文章将介绍几种用于机器学习探索性数据分析的数据类型,以便正确的把握和利用数据。
对数据结构的良好理解对于机器学习中探索性分析十分重要,对于不同的数据类型我们需要不同的统计学度量手段来进行分析测试。同时也需要根据数据的类型选择合适的可视化方式来帮助我们更好的理解数据。最后数据类型也为变量的分类提供了一个有效的途径。
分类数据
分类数据代表着对象的属性特点。诸如人群的性别、语言、国籍大都属于分类数据。分类数据通常也可以用数值表示(例如1表示女性而0表示男性),但需要注意的是这一数值并没有数学上的意义仅仅是分类的标记而已。
  定类数据
定类变量用于标记不同变量的特征,而并不需要定量的数值,它们仅仅是标签而已。需要注意定类数据是无序的,对于变量顺序的更改不会改变数据的本质特征。

上图中表示的便是一个样本典型的分类数据,分别描述了个体的性别和语言属性。特别的作图中是一个只有两个属性的二叉分枝。
  定序数据
定序数据代表了离散但是有序的变量单位。它于定类数据十分类型但确实有序的数据组织。下面教育背景的数据很好地的描述了定序数据的特点。

上图中的四个选项依次表示了不同的受教育程度,但却无法量化初级教育与高中的差别和高中与大学差别间的不同。定序数据缺乏对于特征间差别的量化使得它更多的只能用于评价利于情绪和用户满意度等一系列非数值特征。
数值数据
  离散数据
离散数据是指其取值是不连续的分离值,数据只能在一些特定点取值。这样的数据不能定量测量但可以进行统计计量,并可将其蕴含的信息通过分类的方式进行表示。掷硬币便是最著名的例子,我们无法预测出下一次硬币的正反但是可以通过统计历史数据来估测概率的分布。
当处理离散数据时我们需要对两个问题进行深入思考:数据是否可以计数统计,是否可以分割成较小的部分。如果结论于此相关数据可以被测量而不能够计数,那么意味着我们需要处理的便是连续的数据类型。
  连续数据
连续数据类型代表着对象可测量的连续取值,虽然不能够计数但是可以用某种尺度进行连续的测量取值,例如人的身高和年龄便是连续的数值。通常情况下人们只用或者实数来进行表示。
定距数据
定距变量用于表示对象等差属性的描述方法。当我们使用定距变量时我们可以明确的知道数值间的顺序和差别,并计量这种差别。对于温度的描述就是一个定距数据典型的例子。

但定距变量存在的问题在于它没有一个绝对的基准零值,对于上图中的温度来说0度并不意味着没有温度。对于定距变量来说我们可以进行加减操作却无法进行乘除或者比例计算操作。由于不存在绝对零值使得描述性和推理性的统计方法都无法在定距数据上应用。
定比数据
定比数据和定距数据一样都是有序的数据排列,但定比数据存在一个绝对的零值,所描述的都是具有零值基准的变量,包括重量、高度和长度等。

为何数据类型如此重要?
由于不同的统计方法适用于不同的数据类型,所以数据的类型对于统计和机器学习分析十分重要。试想如果利用连续数据的分析方法来研究分类数据,那么十有八九会得出错误的结论。对于数据类型的理解将会有助于我们选择正确的方法和统计模型来探索和分析数据。那么不同的数据类型我们该选择何种统计模型来分析呢?
对于定类数据来说主要需要关注频率、比例/百分比和可视化方法三个要素。用频率度量某一事物在一定时间或者是在数据集中发生的次数。同时可以用频率将其从数据中的占比进行统计和分离。对于这列数据来说饼图和柱状图是最好的呈现方式。

对于定序数据来说除了百分比和频率等指标外,还可以利用百分位数、中位数等统计指标来描述数据。
对于连续数据来说可以利用更为丰富的的手段进行处理,除了常见统计手段的均值和方差外还有峰峰值、范围等指标来进行表示。为了表示数据的误差和离散程度,带有误差棒的箱式图和直方图不失为一种直观的呈现方式。通过箱图可以看到数据的集中程度和误差程度,而直方图则可以提供数据的整体形态、中值、分布以及趋势。

在这篇文章中我们看到除了连续和离散的数值类型外,统计学中还包括了定序数据、定类数据、定距数据和定比数据等类别。对于不同的数据类型有着不同的分析和可视化方法,在着手处理数据时,理解数据是开始工作的首要条件,不仅有助于我们选择正确的工具和方法,更有助于我们用正确的思维去探索和分析数据,更容易地得出正确有效的结论。
-The End-
来源: Machine Learning Blog
编译:T.R


29、应用机器学习:识别信用违约 本博客详细介绍了如何应用机器学习技术来识别信用违约风险。通过使用来自UCI机器学习库的台湾银行信贷数据集,展示了从数据加载、内存优化、探索性数据分析,到数据预处理、模型训练以及超参数调优的完整流程。重点包括分类变量编码、缺失值处理、决策树分类器的使用以及通过管道和网格搜索提升模型性能。最终通过可视化和统计分析手段,深入理解数据特征并优化模型预测准确性,适用于金融风控领域的实践参考。 阅读详情

相关推荐

Python 数据分析教程之在构建机器学习模型之前如何分析数据?(教程含源码)

要构建在生产环境中表现良好的机器学习模型,我们需要了解数据。如果不知道数据,我们就无法建立一个好的模型。因此,构建机器学习模型的第一步是了解数据并获得数据集中的洞察力和潜在模式。在这篇博客中,我将分享一些我的想法,以了解数据的洞察力。

iCloudEnd的博客 351

数据科学与大数据分析学习笔记-4探索性数据分析

探索性数据分析Anscombe’s quartetDirty Data可视化单个变量研究多个变量箱线图(box-and-whisker plot)适用于大型数据集的蜂巢图(hexbinplot for large data)scatterplot matrix散点图矩阵Data Exploration Versus Presentation评估统计方法之Hypothesis testingA common hypothesis test---Difference of MeansStudent’s t-te

Jifu_M的博客 1452

机器学习笔记 - 探索性数据分析(EDA) 入门案例四

一、数据集说明 1、数据集 Tabular Playground Series - Feb 2022 | KagglePractice your ML skills on this approachable dataset!https://www.kaggle.com/c/tabular-playground-series-feb-2022/data 对于这个挑战,您将根据 DNA 片段的重复有损测量来预测细菌种类。使用拉曼光谱分析长度为 10 的片段,该光谱计算片段中碱基的直方图。 ...

学以致用 知行合一 956

大数据开发_EDA

1. 前言 对于从事大数据开发,数据挖掘或者机器学习领域的同学来说,当面对陌生的海量数据时,往往最先做的不是急着去开发功能,而是去认识数据和清洗数据。...

hxcaifly的博客 5348

大数据平台架构及与EDA云化关系.

大数据平台架构及与EDA云化关系.hadoop数据库架构

云计算虚拟化实验(一)——虚拟机软件VMware的安装以及虚拟机系统的安装(Windows7+CentOS7)

主要内容: 1、虚拟机软件的安装(以VMware为例) 2、虚拟机系统的安装(Window7 + CentOS7) 3、虚拟主机网络互访 4、不同局域网内的虚拟主机互访(软路由——海蜘蛛) 0 ——首先介绍一下什么是虚拟化? 虚拟化,是指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机。在一台计算机上同时运行多个逻辑计算机,每个逻辑计算机可运行不同的操作系统,并且应用程序都可以在

gg_asd的博客 1万+

机器学习探索性数据分析的数据类型(补充)

探索性数据分析(Exploratory Data Analysis, EDA ) EDA是指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。特别是当我们对这些数据中的信息没有足够的经验,不知道该用何种传统统计方法进行分析时,探索性数据分析就会非常有效。 离散属性: 若属性值间存在...

Shingle_的博客 1081

ADC电路项目1——10bit SAR ADC 设计,smic18工艺,有工艺库,有效位数ENOB为9.8

包括详细仿真文档,原理介绍,完整电路图,仿真参数已设好,可直接使用,在自己的电脑上就可以运行仿真。本设计采用 smic18mmrf CMOS 工艺,使用栅压自举电路的采样开关,Vcm-based 开关。电容开关控制电路,10 位 DFF,最后用 10 位理想 DAC 模块将数字码转换为 10 进制量进。时序上级板采样的 DAC 电容阵列,两级动态比较器,比较器异步时钟,SAR 动态逻辑,DAC。10bit SAR ADC 设计,smic18工艺,有工艺库,有效位数ENOB为9.8。

qq_48407979的博客 814

EDA流程(探索性数据分析),史上最全面

EDA概述 介绍 探索性数据分析(Exploratory Data Analysis,简称EDA),是指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律了解数据集,了解变量间的相互关系以及变量与预测值之间的关系的一种数据分析方法。特别是当我们对面对大数据时代到来的时候,各种杂乱的“脏数据”,往往不知所措,不知道从哪里开始了解目前拿到手上的数据时候,探索性数据分析对后续特征工程和建模工作非常有效。 ...

qq_58832911的博客 2万+

运动目标成像必学:5分钟搞懂keystone变换原理与避坑指南

本文深入浅出地解析了雷达信号处理中的Keystone变换原理,它是解决运动目标距离徙动问题的关键技术。文章通过直观比喻和简化公式,阐述了该变换如何通过变量代换实现距离与慢时间的解耦合,将倾斜轨迹“掰直”,从而提升成像与检测性能。同时,文中重点指出了实际应用中关于大速度场景、插值误差、多目标处理及高阶运动补偿等关键避坑点,为工程实践提供了宝贵指南。

ios99的博客 403

美亚杯2023参赛全攻略:从检材下载到Veracrypt挂载的保姆级教程

本文提供美亚杯2023电子数据取证竞赛的完整参赛指南,重点解析从检材下载、Veracrypt挂载到实战取证的保姆级流程。针对新手常见误区,详细说明两套密码(ZIP解压密码与Veracrypt挂载密码)的区别与正确使用方法,并分享赛前环境搭建、赛中高效分析及赛后报告撰写的核心技巧,帮助参赛者系统备赛,规避基础错误。

y9z0a1b的博客 1079

因子分析的实用介绍:探索性因子分析

因子分析的实用介绍:探索性因子分析 目的:   文章主要介绍探索性因子分析的基本概念和相关理论,并结合小案例进行讲解。 探索性因子分析(EFA)因子分析的实用介绍:探索性因子分析目的:介绍1. 一个小案例(SAQ:SPSS Anxiety Questionnaire)2. 皮尔逊相关公式3. 因子分析的方差划分因子提取1. 主成份分析(PCA)2. 共同因子分析(CFA)a. 主轴因子法(PAF)b. 最大似然旋转方式1. 简单结构2. 正交旋转法(Varimax)3. 斜交旋转(Direct Oblimi

weixin_43245268的博客 1万+

「分治法」最近点对距离问题

一、问题描述 给定平面S上n个点,找其中的一对点,使得在n个点组成的 所有点对中,该点对间的距离最小。 假设所讨论的点是以标准笛卡儿坐标形式(x, y)给出的。因 此,在两个点Pi =(xi , yi )和Pj =(xj , yj )之间的距离是标准的欧几里德 距离: d = 根号下( x i − x j ) 2 + ( y i − y j )2 二、问题分析 直接用暴力解法很简单,用结构体把每个点的x、y坐标都存下来之后,用一个二重循环即可获得距离的最大值。但是这样做的时间复杂度也达到了O(n的平方)

Laok0413的博客 9656

李沐老师机器学习斯坦福课程笔记

记录自己学习的笔记

libingyu_的博客 231

AutoCAD 2024 LISP实用技巧:自定义快捷命令与高效绘图工具集

本文详细介绍了如何在AutoCAD 2024中部署和使用LISP脚本,打造高效绘图工具集。通过自定义快捷命令,如WFF(超级文字查找替换)、GQT(图层隔离)和LLTJ(智能长度统计),可大幅简化图层管理、文字编辑和测量统计等重复性操作,显著提升绘图效率。

gan8painter的博客 319

STM32F103C8T6驱动DHT11温湿度传感器程序

本程序基于 STM32F103C8T6 微控制器,通过 GPIO 模拟单总线通信时序实现对 DHT11 温湿度传感器的数据采集,主机采用拉低数据线的方式触发传感器启动,并通过检测高电平持续时间区分逻辑“0”和“1”,依次读取湿度和温度的整数数据及校验位,经过校验后将有效结果存入缓存数组,实现对环境温湿度的周期性测量与处理。

加斯顿工程师的博客 200

跟李沐学AI——实用机器学习(入门版)

机器学习目录 2.1 探索性数据分析 2.2 数据清理 2.3 数据变换 2.4 特征工程 2.5 数据科学家的日常 Stanford University Practical machine learning 2.1 探索性数据分析 ​ 对目标的ftr数据进行处理,针对不同的信息做出不同的图形 输出数据集的行数和列数以及前十行元素 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seabor

日常发呆 1503

Android 12.0 kenel中修改rom系统内部存储的大小

在12.0的系统rom产品开发定制中,在对一些产品开发中的配置需求方面,由于在产品后续订单中,有些产品是出口的,但是硬件方面已经定板,时间比较仓促,所以 就需要软件方面在rom内部存储的大小方面作假,修改rom真实的大小容量,所以就需要在kenel驱动部分来修改这部分的值最好了,接下来分析下计算rom容量的 相关代码,然后做出相关的修改,来实现功能

安卓兼职framework和app工程师的博客 1678

Python机器学习:使用Pandas进行探索性数据分析 Ⅰ

利用Pandas进行会计业务数据分析可视化,并利用机器学习训练模型来进行预测,Pandas是一个强大的数据分析工具,是经常进行数据分析处理的人必不可少的强力伙伴!

北天的博客 2401

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

斯坦福21秋季:实用机器学习2.1

展示了用于探索性数据分析(EDA)的基本技术,包括理解列的数据类型、值以及分布情况理解列之间的相互作用。

weixin_41483169的博客 468

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

机器学习-探索性数据分析

将与钱相关的列加入currency数组,之后分别对这些列用正则表达式将"$“”,“”-"号全部删掉,下一个是若是空字符串,直接转成numpy的not a number,之后将这些列的数据都转成float类型的数据。拿出房间面积小于10或大于10000的列(不正常的),第二行代码把除不正常数据之外的其他数据留下,再看有多少不正常的数据。看各个类型房子的每平米的价格的分布,色块内的横线表示均值,色块上界和下界分别表示75%和25%的分位数。看不同邮政编码的房子的单位面积的均价分布。展示各个数据列的数据类型。

m0_74478829的博客 314

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

数据科学研讨会(五)

上一章主要讨论了如何改进我们的机器学习模型,并解释其结果和参数,以便为业务提供有意义的见解。本章开启了本书的第三部分:提升您的数据集。在接下来的三章中,我们将退后一步,专注于任何机器学习模型的关键输入:数据集。我们将学习如何探索一个新的数据集,准备它进入建模阶段,并创建新的变量(也叫做特征工程这些都是非常激动人心且重要的主题,所以让我们开始吧。当我们提到数据科学时,大多数人想到的是构建精密的机器学习算法来预测未来的结果。他们通常不会想到数据科学项目中涉及的所有其他关键任务。

龙哥盟 907

机器学习中如何使用数据集?

数据集能进行机器学习吗?数据集是所有共享一个公共属性的实例的集合。 机器学习模型通常将包含一些不同的数据集,每个数据集用于履行系统中的各种角色。机器学习中如何使用数据集?当任何经验丰富的数据科学家处理与ML相关的项目时,将完成60%的工作来分析数据集,我们称之为探索性数据分析(EDA)。 这意味着数据在机器学习中起着重要作用。 在现实世界中,我们需要处理大量数据,这使得使用普通大熊猫进行计算和读取数据似乎不可行,这似乎需要花费更多时间,并且我们的工作资源通常有限。 为了使其可行,许多AI研究人员提出了一种解

gu1857035894的博客 4280

【Python】Pandas 探索性数据分析综合实战

本文主要分析数据、组织数据、清洗、过滤、排序、聚合、可视化变量之间的关系、分类图和数据的分散性。在一个数据科学项目的生命周期中,我们有70%以上的时间用于数据分析,比如进行特征工程和特征选择。特征工程讲的是根据我们的直觉用有效的数据来填补缺失值,纠正错误的数据类型,组织不平衡的数据集,而特征选择讲的是只选择那些有助于预测变量或你感兴趣的输出的特征。要做好探索性数据分析,需要对pandas、nump...

fengdu78的博客 676

数据分析--

模式识别作业

py今天刷题了吗 147

机器学习:数据分析

建议存成压缩文件,在传输存储都会比较好,甚至还会比直接读取还要好(这个方法可用于文本)数值列转换完成后,需要查看各列的最小值(min)和最大值(max),因为有些列的极值明显不合理,可能存在异常值或数据错误。pandas:也是用于数据分析,擅长处理表,数据没那么大要放入内存中,这将是首选;1.将带’$’的货币字符串,去掉’$’后转为可被识别转换的浮点数float。如果一个列30%的样本该列数据是缺失的,就把该列删去,简化数据。[0:20]:切片取前 20 个(出现频率最高的 20 种)

2403_88436129的博客 210
上一篇: 深度学习实践
下一篇: 机器学习探索性数据分析的数据类型(补充)
Shingle_
博客等级 码龄10年 185粉丝 191原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值