(一)探索性数据分析EDA入门

数据挖掘:探索性数据分析(EDA) 数据挖掘:探索性数据分析 阅读详情

数据分析为了使我们更加熟悉数据集,发现数据的特点规律,查看数据集的属性,对数据进行预处理,以使得后续的机器学习或深度学习结果更加达到预期。

以二手车交易价格预测数据为例,数据地址:
https://tianchi.aliyun.com/competition/entrance/231784/information

1、首先导入各种数据科学以及可视化库:
常用数据科学库 pandas、numpy、scipy;可视化库 matplotlib、seabon;

import numpy as np
import pandas as pd
import matplotlib
import matplotlib.pyplot as plt
import seaborn as sns
import missingno as msno

2、载入数据,使用pandas读入csv数据

Train_data = pd.read_csv('./data/used_car_train_20200313.csv', sep=' ')

3、查看数据的维度信息

Train_data.shape

(150000, 31)
数据有150000行和31列

4、简单的查看数据的前5行和后5行的数据信息

Train_data.head().append(Train_data.tail())

在这里插入图片描述
5、进一步,可以通过pandas种的describe()来熟悉数据的相关统计量,包括以下内容,count:非空值总数、mean:非空值的平均值、std:方差、min:最小值、25%:25%分位数、50%:50%分位数(中位数)、75%: 75%分位数、max: 最大值。

Train_data.describe()

在这里插入图片描述

6、还可以通过info()来了解每列数据的类型,每行的第二列数据是该列有效数据的个数,最后是数据的类型。

Train_data.info()

结果如下
<class ‘pandas.core.frame.DataFrame’>
RangeIndex: 150000 entries, 0 to 149999
Data columns (total 31 columns):
SaleID 150000 non-null int64
name 150000 non-null int64
regDate 150000 non-null int64
model 149999 non-null float64
brand 150000 non-null int64
bodyType 145494 non-null float64
fuelType 141320 non-null float64
gearbox 144019 non-null float64
power 150000 non-null int64
kilometer 150000 non-null float64
notRepairedDamage 150000 non-null object
regionCode 150000 non-null int64
seller 150000 non-null int64
offerType 150000 non-null int64
creatDate 150000 non-null int64
price 150000 non-null int64
v_0 150000 non-null float64
v_1 150000 non-null float64
v_2 150000 non-null float64
v_3 150000 non-null float64
v_4 150000 non-null float64
v_5 150000 non-null float64
v_6 150000 non-null float64
v_7 150000 non-null float64
v_8 150000 non-null float64
v_9 150000 non-null float64
v_10 150000 non-null float64
v_11 150000 non-null float64
v_12 150000 non-null float64
v_13 150000 non-null float64
v_14 150000 non-null float64
dtypes: float64(20), int64(10), object(1)
memory usage: 35.5+ MB

可以看出只有notRepairedDamage 为object类型,其他都为数字

7、判断数据缺失和异常,
7.1、查看每列数据中nan的数据的个数

Train_data.isnull().sum()

结果如下,有model 、bodyType、fuelType 、gearbox四个列中存在 nan数据
SaleID 0
name 0
regDate 0
model 1
brand 0
bodyType 4506
fuelType 8680
gearbox 5981
power 0
kilometer 0
notRepairedDamage 0
regionCode 0
seller 0
offerType 0
creatDate 0
price 0
v_0 0
v_1 0
v_2 0
v_3 0
v_4 0
v_5 0
v_6 0
v_7 0
v_8 0
v_9 0
v_10 0
v_11 0
v_12 0
v_13 0
v_14 0
dtype: int64

7.2 可视化,用pandas中plot.bar()做柱状图

nonumber = Train_data.isnull().sum()
nonumber = nonumber[nonumber > 0]
nonumber.sort_values(inplace=True)
nonumber.plot.bar()
plt.show()

在这里插入图片描述
7.3、还可以用missingno库做缺失值可视化分析

msno.matrix(Train_data.sample(250))

sample(250)表示抽取250个样本,结果中白线越多代表缺失值越多

在这里插入图片描述

msno.bar(Train_data)

在这里插入图片描述

8、进一步我们可以对列数据进行分析

Train_data["seller"].value_counts()

在这里插入图片描述
该类别特征严重倾斜,一般不会对预测有什么帮助,可以选择删掉

9、我们还可以查看一下标签的分布
用图表的方式看起来比较直观

import scipy.stats as st
y = Train_data['price']
plt.figure(1); plt.title('Johnson SU')
sns.distplot(y, kde=False, fit=st.johnsonsu)
plt.figure(2); plt.title('Normal')
sns.distplot(y, kde=False, fit=st.norm)
plt.figure(3); plt.title('Log Normal')
sns.distplot(y, kde=False, fit=st.lognorm)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
价格不服从正态分布,所以在进行回归处理之前,需要进行转换。

查看预测值的具体频数
在这里插入图片描述
查看频数, 大于20000得值极少,也可以把这些当作特殊得值(异常值)直接用填充或者删掉。

利用python进行探索性数据分析(EDA):以Kaggle泰坦尼克号数据集为例 探索性数据分析(EDA)是我们进行数据分析和很多数据挖掘比赛的基础。当我们得到一个数据后,我们首先要分析一下这个数据的基本情况,例如哪些变量是分类型的,哪些是连续型的,它们的分布是什么情况,它们之间有什么关系,数据缺失值如何。通过探索性数据分析后,我们能大致了解数据,从而进行相关模型建立以及作为特征工程的基础。 本文通过Kaggle泰坦尼克号数据来进行探索性数据分析实战。📝个人介绍:小编大四统计在读,目前保研到统计学top3高校继续攻读统计研究生,如果文章对你有帮助,欢迎点赞收藏评论!... 阅读详情

相关推荐

利用R语言进行探索性数据分析(EDA)

在数据进行建模或者严格的统计分析之前,我们一般需要先熟悉一下数据,弄清楚各变量的分布以及变量之间的关系。探索性数据分析(EDA)

weixin_43823338的博客 1万+

Python与DIAdem联合开发

Python可以通过COM接口与NI的DIAdem软件集成,允许用户以编程方式自动生成和定制报告。这种方式使得报告生成更加灵活且可定制,尤其适用于需要定期生成大量报告或对报告内容有特定要求的场景。

bjcyck的博客 1456

探索性数据分析(EDA):从数据中发现洞察力

从加载数据、可视化到处理异常值,每一步都是深入挖掘数据洞察力的关键。希望通过这篇文章,你能更好地理解如何在实际项目中应用EDA,从而更有信心地处理和分析各种类型的数据。

theskylife的博客 2424

【免费下载】 Diadem软件入门

Diadem软件入门 【下载地址】Diadem软件入门分享 Diadem软件入门--- 项目地址: https://gitcode.com/Open-source-documentation-tutorial/5541a9 ...

gitblog_06638的博客 1277

数据分析如何做EDA

探索性数据分析(EDA,Exploratory Data Analysis)是数据分析过程中至关重要的一步,其目的是通过统计和可视化技术对数据进行初步分析,从而揭示数据的潜在模式、特征和异常值,并为后续的数据预处理、特征工程和模型构建奠定基础。以下是关于如何进行EDA的详细步骤和方法:在开始EDA之前,需要明确数据的来源、业务背景以及研究目标。例如,数据是否经过人工处理?是原始数据还是二次加工的数据?理解这些问题有助于确定分析的方向和重点。使用Python中的库加载数据,并通过、、等方法对数据进行初步观察。

kcarly的专栏 1809

数据的探索性分析(EDA)

探索性数据分析(EDA) 文章目录探索性数据分析(EDA)什么叫探索性数据分析探索性分析的步骤实战案例 什么叫探索性数据分析 探索性数据分析(Exploratory Data Analysis,简称EDA),摘抄网上的一个中文解释,是指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。当我们...

Eytins1的博客 1603

【免费下载】 NI DIAdem 2020 中文教程

NI DIAdem 2020 中文教程 【下载地址】NIDIAdem2020中文教程 NI DIAdem 2020 中文教程 项目地址: https://gitcode.com/Open-source-documentation-...

gitblog_06695的博客 2557

机器学习笔记 - 探索性数据分析(EDA) 入门案例一

探索性数据分析(EDA) 入门案例一 获取数据集基本信息 处理缺失值 数据可视化 处理异常值

学以致用 知行合一 1263

数据分析与机器学习入门(一)——EDA探索性数据分析(持续更新中...)

与传统的统计分析方法的区别: 传统:先假定数据服从某种分布,然后运用这种模型进行预测,以概率论为基础,做各种的参数检验。 EDA:“抛开”概率理论,从数据出发,强调数据可视化 单变量分析 基本统计量(中位数、四分位数、偏度、峰度等等) 偏度、峰度:数据的大致分布情况,功能上与直方图类似,其虽然可量化,但不如直方图直观 直方图 - 对称? - 分散? - 异常值? - 有间隙?

JasonBianZhang的博客 1万+

机器学习笔记 - 探索性数据分析(EDA) 概念理解

了解您需要了解的有关探索性数据分析的所有信息,探索性数据分析是一种用于分析和汇总数据集的方法 一、什么是探索性数据分析? 数据科学家使用探索性数据分析 (Exploratory Data Analysis) 来分析和调查数据集并总结其主要特征,通常采用数据可视化方法。它有助于确定如何最好地操纵数据源以获得所需的答案,从而使数据科学家更容易发现模式、发现异常、检验假设或检查假设。 EDA 主要用于查看在正式建模或假设检验任务之外可以揭示哪些数据,并提供对数...

学以致用 知行合一 8503

机器学习笔记 - 探索性数据分析(EDA) 学习进阶

EDA 方法不是一套技术或函数或图形,而是一种关于如何进行数据分析的态度/哲学。 大多数 EDA 技术本质上是图形化的,带有一些定量技术。之所以高度依赖图形,是因为EDA本质上的主要作用是开放的探索,而图形赋予了分析师无与伦比的探索能力,诱使数据揭示其结构秘密,并时刻准备着以获得对数据的一些新的,通常是意想不到的,洞察力。结合我们所有人都拥有的自然模式识别能力,图形提供了无与伦比的能力来实现这一点。

学以致用 知行合一 5723

探索性数据分析 (EDA) 简介

探索性数据分析是研究或理解数据并提取洞察数据集以识别数据模式或主要特征的过程。EDA 通常分为两种方法,即图形分析和非图形分析。

gongdiwudu的专栏 4050

Diadem软件入门

NI公司的DIAdem 是一个交互式软件,用于管理、检测、分析与报告测试数据。DIAdem 提供了一个统一的环境,将测试数据转换成有用的信息以做出工程决策。DIAdem 从工业标准的数据库和文件格式中——如 ASCII、二进制数据和 Excel——导入数据,并能处理超过 10 亿个数据点。

数据科学学习之探索性数据分析(EDA)

前言 本文为笔者学习图灵系列程序设计丛书的《面向数据科学家的使用统计学》的一些感悟和总结,本文撰写主要参考了该书目,希望本文对接触,学习和研究数据科学的各位能有所帮助。 首先,第一篇介绍探索性数据分析(EDA)的相关内容。 目录前言1.什么是结构化数据2.矩形数据3.位置估计 1.什么是结构化数据 在现代,尤其是这个大数据时代,我们获取数据的途径非常丰富,各种仪器(例如各种传感器)的测量值、事件、文本、图像和视频等都属于可获取的数据来源,整个物联网无时无刻不在涌出大量的信息流。如何将这些大量的原始数据转化为

weixin_51617547的博客 5707

NI DIAdem2020中文教程.pdf

DIAdem 是寻找和管理技术的交互式国家仪器软件,用于数学和 图形交互分析数据,并在软件中显示数据报告。在标准化环境中, DIAdem 提供了一种独特的工具组合适合技术人员、工程师和科学家 的要求。你可以调整所有的工具对您的任务和自动化脚本,这大大减 少了评估时间。数据查找器使您能够快速、轻松地查找测试数据,并 识别相应的数据。

TOD和PPS精确时间同步技术

授时

u010783226的专栏 1万+

探索性数据分析EDA(一)——变量识别与分析

1.数据探索和预处理的步骤 处理步骤: 1)变量识别 (Variable Identification) 2)单变量分析 (Univariate Analysis) 3)双变量分析(Bi-variate Analysis) 4)缺失值处理 (Missing values treatment) 5)异常值处理(Outlier treatment) 6)变量转换(Variable transformation) 7)变量构造 (Variable creation) 1)变量识别 (Variable Identi

WHYbeHERE的博客 6074

教程:使用树莓派连接Pixhawk飞控

教程:使用树莓派连接Pixhawk飞控树莓派可以与Pixhawk飞控相连,读取飞控中的状态信息,同时对飞控发送指令。树莓派作为一个更高性能的计算平台,可以运行图像识别、机器学习、实时路径规划等程序,为开源无人机带来了无限可能。本文将介绍如何在树莓派上使用APSync。不需要了解Linux,即可将树莓派连接到Pixhawk飞控。使用的器材为: Pixhawk飞控 树莓派3B(Raspberry Pi

Roger今天好好搬砖了吗 5万+

EDA流程(探索性数据分析),史上最全面

EDA概述 介绍 探索性数据分析(Exploratory Data Analysis,简称EDA),是指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律了解数据集,了解变量间的相互关系以及变量与预测值之间的关系的一种数据分析方法。特别是当我们对面对大数据时代到来的时候,各种杂乱的“脏数据”,往往不知所措,不知道从哪里开始了解目前拿到手上的数据时候,探索性数据分析对后续特征工程和建模工作非常有效。 ...

qq_58832911的博客 2万+

手把手教你用Zynq-7100 FPGA实现100Mbps OOK信号定时同步(含完整Verilog代码)

本文详细介绍了如何在Zynq-7100 FPGA平台上实现100Mbps OOK信号的定时同步,涵盖插值算法、Gardner定时误差检测等关键技术。通过完整的Verilog代码和优化技巧,解决了50MHz外部时钟条件下的400MHz采样率同步挑战,为无线通信系统设计提供实用解决方案。

weixin_42522374的博客 302

【JTAG】1500协议详解

随着集成电路的规模不断扩大,1149.1的板级测试无法满足要求越来越高的芯片测试需求。芯片规模变大后,测试需求不在是一次测试整片芯片,而是芯片分为好几个区域去测试,而1500协议正是对1149.1在该方面的一个补充即1149.1主要测试板级间的互连,而1500用来测试芯片内不同core之间的互连。IEEEStd1500已经为包含不同模块的集成电路(ICs)开发了一种可测试性设计标准方法。............

xuhe0206的博客 7039

探索性数据分析(EDA)

探索性数据分析(EDA)目的是最大化对数据的直觉,完成这个事情的方法只能是结合统计学的图形以各种形式展现出来。通过EDA可以实现: 1. 得到数据的直观表现 2. 发现潜在的结构 3. 提取重要的变量 4. 处理异常值 5. 检验统计假设 6. 建立初步模型 7. 决定最优因子的设置 数据类型数据一般按类型分为两种:离散型和连续型;针对这两种类型的

Leo00000001的博客 1万+

基于STM32、HAL库的BMP585 气压传感器 驱动程序设计

define BMP585_I2C_ADDR_PRIMARY 0x76 << 1 /* 0x76地址左移一位 */#define BMP585_I2C_ADDR_SECONDARY 0x77 << 1 /* 0x77地址左移一位 *//* I2C句柄 *//* I2C地址 *//* 设置新的温度过采样率 *//* 设置新的滤波器系数 *//* 芯片ID *//* 清除温度过采样位 *//* 转换为hPa *//* 设置新的压力过采样率 *//* 设置新的电源模式 *//* 清除压力过采样位 */

corlin6688的博客 461
上一篇: (强化学习)DQN实战CartPole游戏
下一篇: (二)数据的特征工程方法总结笔记
zhangycode
博客等级 码龄7年 5粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值