(一)探索性数据分析EDA入门

数据挖掘:探索性数据分析(EDA) 数据挖掘:探索性数据分析 阅读详情

数据分析为了使我们更加熟悉数据集,发现数据的特点规律,查看数据集的属性,对数据进行预处理,以使得后续的机器学习或深度学习结果更加达到预期。

以二手车交易价格预测数据为例,数据地址:
https://tianchi.aliyun.com/competition/entrance/231784/information

1、首先导入各种数据科学以及可视化库:
常用数据科学库 pandas、numpy、scipy;可视化库 matplotlib、seabon;

import numpy as np
import pandas as pd
import matplotlib
import matplotlib.pyplot as plt
import seaborn as sns
import missingno as msno

2、载入数据,使用pandas读入csv数据

Train_data = pd.read_csv('./data/used_car_train_20200313.csv', sep=' ')

3、查看数据的维度信息

Train_data.shape

(150000, 31)
数据有150000行和31列

4、简单的查看数据的前5行和后5行的数据信息

Train_data.head().append(Train_data.tail())

在这里插入图片描述
5、进一步,可以通过pandas种的describe()来熟悉数据的相关统计量,包括以下内容,count:非空值总数、mean:非空值的平均值、std:方差、min:最小值、25%:25%分位数、50%:50%分位数(中位数)、75%: 75%分位数、max: 最大值。

Train_data.describe()

在这里插入图片描述

6、还可以通过info()来了解每列数据的类型,每行的第二列数据是该列有效数据的个数,最后是数据的类型。

Train_data.info()

结果如下
<class ‘pandas.core.frame.DataFrame’>
RangeIndex: 150000 entries, 0 to 149999
Data columns (total 31 columns):
SaleID 150000 non-null int64
name 150000 non-null int64
regDate 150000 non-null int64
model 149999 non-null float64
brand 150000 non-null int64
bodyType 145494 non-null float64
fuelType 141320 non-null float64
gearbox 144019 non-null float64
power 150000 non-null int64
kilometer 150000 non-null float64
notRepairedDamage 150000 non-null object
regionCode 150000 non-null int64
seller 150000 non-null int64
offerType 150000 non-null int64
creatDate 150000 non-null int64
price 150000 non-null int64
v_0 150000 non-null float64
v_1 150000 non-null float64
v_2 150000 non-null float64
v_3 150000 non-null float64
v_4 150000 non-null float64
v_5 150000 non-null float64
v_6 150000 non-null float64
v_7 150000 non-null float64
v_8 150000 non-null float64
v_9 150000 non-null float64
v_10 150000 non-null float64
v_11 150000 non-null float64
v_12 150000 non-null float64
v_13 150000 non-null float64
v_14 150000 non-null float64
dtypes: float64(20), int64(10), object(1)
memory usage: 35.5+ MB

可以看出只有notRepairedDamage 为object类型,其他都为数字

7、判断数据缺失和异常,
7.1、查看每列数据中nan的数据的个数

Train_data.isnull().sum()

结果如下,有model 、bodyType、fuelType 、gearbox四个列中存在 nan数据
SaleID 0
name 0
regDate 0
model 1
brand 0
bodyType 4506
fuelType 8680
gearbox 5981
power 0
kilometer 0
notRepairedDamage 0
regionCode 0
seller 0
offerType 0
creatDate 0
price 0
v_0 0
v_1 0
v_2 0
v_3 0
v_4 0
v_5 0
v_6 0
v_7 0
v_8 0
v_9 0
v_10 0
v_11 0
v_12 0
v_13 0
v_14 0
dtype: int64

7.2 可视化,用pandas中plot.bar()做柱状图

nonumber = Train_data.isnull().sum()
nonumber = nonumber[nonumber > 0]
nonumber.sort_values(inplace=True)
nonumber.plot.bar()
plt.show()

在这里插入图片描述
7.3、还可以用missingno库做缺失值可视化分析

msno.matrix(Train_data.sample(250))

sample(250)表示抽取250个样本,结果中白线越多代表缺失值越多

在这里插入图片描述

msno.bar(Train_data)

在这里插入图片描述

8、进一步我们可以对列数据进行分析

Train_data["seller"].value_counts()

在这里插入图片描述
该类别特征严重倾斜,一般不会对预测有什么帮助,可以选择删掉

9、我们还可以查看一下标签的分布
用图表的方式看起来比较直观

import scipy.stats as st
y = Train_data['price']
plt.figure(1); plt.title('Johnson SU')
sns.distplot(y, kde=False, fit=st.johnsonsu)
plt.figure(2); plt.title('Normal')
sns.distplot(y, kde=False, fit=st.norm)
plt.figure(3); plt.title('Log Normal')
sns.distplot(y, kde=False, fit=st.lognorm)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
价格不服从正态分布,所以在进行回归处理之前,需要进行转换。

查看预测值的具体频数
在这里插入图片描述
查看频数, 大于20000得值极少,也可以把这些当作特殊得值(异常值)直接用填充或者删掉。

利用python进行探索性数据分析(EDA):以Kaggle泰坦尼克号数据集为例 探索性数据分析(EDA)是我们进行数据分析和很多数据挖掘比赛的基础。当我们得到一个数据后,我们首先要分析一下这个数据的基本情况,例如哪些变量是分类型的,哪些是连续型的,它们的分布是什么情况,它们之间有什么关系,数据缺失值如何。通过探索性数据分析后,我们能大致了解数据,从而进行相关模型建立以及作为特征工程的基础。 本文通过Kaggle泰坦尼克号数据来进行探索性数据分析实战。📝个人介绍:小编大四统计在读,目前保研到统计学top3高校继续攻读统计研究生,如果文章对你有帮助,欢迎点赞收藏评论!... 阅读详情

相关推荐

利用R语言进行探索性数据分析(EDA)

在数据进行建模或者严格的统计分析之前,我们一般需要先熟悉一下数据,弄清楚各变量的分布以及变量之间的关系。探索性数据分析(EDA)

weixin_43823338的博客 1万+

Python与DIAdem联合开发

Python可以通过COM接口与NI的DIAdem软件集成,允许用户以编程方式自动生成和定制报告。这种方式使得报告生成更加灵活且可定制,尤其适用于需要定期生成大量报告或对报告内容有特定要求的场景。

bjcyck的博客 1456

探索性数据分析(EDA):从数据中发现洞察力

从加载数据、可视化到处理异常值,每一步都是深入挖掘数据洞察力的关键。希望通过这篇文章,你能更好地理解如何在实际项目中应用EDA,从而更有信心地处理和分析各种类型的数据。

theskylife的博客 2424

【免费下载】 Diadem软件入门

Diadem软件入门 【下载地址】Diadem软件入门分享 Diadem软件入门--- 项目地址: https://gitcode.com/Open-source-documentation-tutorial/5541a9 ...

gitblog_06638的博客 1277

数据分析如何做EDA

探索性数据分析(EDA,Exploratory Data Analysis)是数据分析过程中至关重要的一步,其目的是通过统计和可视化技术对数据进行初步分析,从而揭示数据的潜在模式、特征和异常值,并为后续的数据预处理、特征工程和模型构建奠定基础。以下是关于如何进行EDA的详细步骤和方法:在开始EDA之前,需要明确数据的来源、业务背景以及研究目标。例如,数据是否经过人工处理?是原始数据还是二次加工的数据?理解这些问题有助于确定分析的方向和重点。使用Python中的库加载数据,并通过、、等方法对数据进行初步观察。

kcarly的专栏 1809

数据的探索性分析(EDA)

探索性数据分析(EDA) 文章目录探索性数据分析(EDA)什么叫探索性数据分析探索性分析的步骤实战案例 什么叫探索性数据分析 探索性数据分析(Exploratory Data Analysis,简称EDA),摘抄网上的一个中文解释,是指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。当我们...

Eytins1的博客 1603

【免费下载】 NI DIAdem 2020 中文教程

NI DIAdem 2020 中文教程 【下载地址】NIDIAdem2020中文教程 NI DIAdem 2020 中文教程 项目地址: https://gitcode.com/Open-source-documentation-...

gitblog_06695的博客 2557

机器学习笔记 - 探索性数据分析(EDA) 入门案例一

探索性数据分析(EDA) 入门案例一 获取数据集基本信息 处理缺失值 数据可视化 处理异常值

学以致用 知行合一 1263

数据分析与机器学习入门(一)——EDA探索性数据分析(持续更新中...)

与传统的统计分析方法的区别: 传统:先假定数据服从某种分布,然后运用这种模型进行预测,以概率论为基础,做各种的参数检验。 EDA:“抛开”概率理论,从数据出发,强调数据可视化 单变量分析 基本统计量(中位数、四分位数、偏度、峰度等等) 偏度、峰度:数据的大致分布情况,功能上与直方图类似,其虽然可量化,但不如直方图直观 直方图 - 对称? - 分散? - 异常值? - 有间隙?

JasonBianZhang的博客 1万+

机器学习笔记 - 探索性数据分析(EDA) 概念理解

了解您需要了解的有关探索性数据分析的所有信息,探索性数据分析是一种用于分析和汇总数据集的方法 一、什么是探索性数据分析? 数据科学家使用探索性数据分析 (Exploratory Data Analysis) 来分析和调查数据集并总结其主要特征,通常采用数据可视化方法。它有助于确定如何最好地操纵数据源以获得所需的答案,从而使数据科学家更容易发现模式、发现异常、检验假设或检查假设。 EDA 主要用于查看在正式建模或假设检验任务之外可以揭示哪些数据,并提供对数...

学以致用 知行合一 8503

机器学习笔记 - 探索性数据分析(EDA) 学习进阶

EDA 方法不是一套技术或函数或图形,而是一种关于如何进行数据分析的态度/哲学。 大多数 EDA 技术本质上是图形化的,带有一些定量技术。之所以高度依赖图形,是因为EDA本质上的主要作用是开放的探索,而图形赋予了分析师无与伦比的探索能力,诱使数据揭示其结构秘密,并时刻准备着以获得对数据的一些新的,通常是意想不到的,洞察力。结合我们所有人都拥有的自然模式识别能力,图形提供了无与伦比的能力来实现这一点。

学以致用 知行合一 5723

探索性数据分析 (EDA) 简介

探索性数据分析是研究或理解数据并提取洞察数据集以识别数据模式或主要特征的过程。EDA 通常分为两种方法,即图形分析和非图形分析。

gongdiwudu的专栏 4050

Diadem软件入门

NI公司的DIAdem 是一个交互式软件,用于管理、检测、分析与报告测试数据。DIAdem 提供了一个统一的环境,将测试数据转换成有用的信息以做出工程决策。DIAdem 从工业标准的数据库和文件格式中——如 ASCII、二进制数据和 Excel——导入数据,并能处理超过 10 亿个数据点。

数据科学学习之探索性数据分析(EDA)

前言 本文为笔者学习图灵系列程序设计丛书的《面向数据科学家的使用统计学》的一些感悟和总结,本文撰写主要参考了该书目,希望本文对接触,学习和研究数据科学的各位能有所帮助。 首先,第一篇介绍探索性数据分析(EDA)的相关内容。 目录前言1.什么是结构化数据2.矩形数据3.位置估计 1.什么是结构化数据 在现代,尤其是这个大数据时代,我们获取数据的途径非常丰富,各种仪器(例如各种传感器)的测量值、事件、文本、图像和视频等都属于可获取的数据来源,整个物联网无时无刻不在涌出大量的信息流。如何将这些大量的原始数据转化为

weixin_51617547的博客 5706

NI DIAdem2020中文教程.pdf

DIAdem 是寻找和管理技术的交互式国家仪器软件,用于数学和 图形交互分析数据,并在软件中显示数据报告。在标准化环境中, DIAdem 提供了一种独特的工具组合适合技术人员、工程师和科学家 的要求。你可以调整所有的工具对您的任务和自动化脚本,这大大减 少了评估时间。数据查找器使您能够快速、轻松地查找测试数据,并 识别相应的数据。

STK传感器约束设置保姆级教程:从方位角到传播延迟,手把手教你避开新手常见坑

本文详细解析了STK传感器约束设置的关键技巧,涵盖方位角、仰角、高度及传播延迟等核心参数。通过实战案例和代码示例,指导用户避开常见误区,优化卫星通信和航天任务仿真精度,特别适合STK新手和需要提升传感器配置效率的工程师。

weixin_33701294的博客 393

探索性数据分析EDA(一)——变量识别与分析

1.数据探索和预处理的步骤 处理步骤: 1)变量识别 (Variable Identification) 2)单变量分析 (Univariate Analysis) 3)双变量分析(Bi-variate Analysis) 4)缺失值处理 (Missing values treatment) 5)异常值处理(Outlier treatment) 6)变量转换(Variable transformation) 7)变量构造 (Variable creation) 1)变量识别 (Variable Identi

WHYbeHERE的博客 6074

【Python脚本】Python自动大麦网抢票,准点原价秒杀演唱会门票,拒绝黄牛交易!从我做起!!!1

你是否错过了周杰伦的票,最近又没抢到五月天的票,不要太难过,今晚有张学友的票,后天还有张杰的票,加油哦!

weixin_45841831的博客 6万+

EDA流程(探索性数据分析),史上最全面

EDA概述 介绍 探索性数据分析(Exploratory Data Analysis,简称EDA),是指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律了解数据集,了解变量间的相互关系以及变量与预测值之间的关系的一种数据分析方法。特别是当我们对面对大数据时代到来的时候,各种杂乱的“脏数据”,往往不知所措,不知道从哪里开始了解目前拿到手上的数据时候,探索性数据分析对后续特征工程和建模工作非常有效。 ...

qq_58832911的博客 2万+

粒子滤波在基于误差状态量的INS/GNSS组合导航中的使用技巧-On Particle Filter based Error-State INS/GNSS Intergrated Navigation

本文面向以15维惯导(INS)误差为状态量,3维位置误差为量测量的INS/GNSS组合导航系统,​在西工大严恭敏老师的开源工具箱中PF相关库函数基础上实现基于粒子滤波(PF)的惯导误差状态量的递推估计,设计了粒子重置环节并强调了其在本特定场景下的重要性。

I33D33I的博客 1744

【数据结构】期末考试复习(考点+例题)

1.线性表定义及其存储实现:顺序表和链接表,优缺点分析(顺序存储可随 机访问,链式存储可灵活利用空间),相关操作的时间复杂度。 2.链表的插入删除操作 3.两种特殊的线性表及其应用:栈、队列 4.栈、队列上的(插入/删除)操作及其特点 5.循环队列满和空的条件 6.能够定义线性表、栈、队列的数据存储结构,能够实现相关操作的算法并 分析时间复杂度(例如插入、删除及其它应用等) 7.理解线性结构的应用( 如根据要求能灵活定义线性表结构,能根据线性表 的插入、删除操作解决实际问题) 二叉树基本概念与性质(高

Molly 的博客 9376

探索性数据分析(EDA)

探索性数据分析(EDA)目的是最大化对数据的直觉,完成这个事情的方法只能是结合统计学的图形以各种形式展现出来。通过EDA可以实现: 1. 得到数据的直观表现 2. 发现潜在的结构 3. 提取重要的变量 4. 处理异常值 5. 检验统计假设 6. 建立初步模型 7. 决定最优因子的设置 数据类型数据一般按类型分为两种:离散型和连续型;针对这两种类型的

Leo00000001的博客 1万+

【AUTOSAR-Nm】-2.2-通过CAN/Lin...信号报告Nm状态机的跳转

如何通过Can/Lin/Fr/Udp/J1939信号,获取每个通道对应状态机的跳转信息:“前一次状态”和“当前状态”。

「汽车电子助手」的博客 2467
上一篇: (强化学习)DQN实战CartPole游戏
下一篇: (二)数据的特征工程方法总结笔记
zhangycode
博客等级 码龄7年 5粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值