二手车交易价格预测:EDA-数据探索性分析

二手车交易价格预测 二手车交易价格预测 数据来自某交易平台的二手车交易记录,总数据量超过40w,包含31列变量信息,其中15列为匿名变量。从数据中抽取15万条作为训练集,5万条作为测试集A,5万条作为测试集B,同时会对name、model、brand和regionCode等信息进行脱敏。 题目分析 1.价格预测是传统的数据挖掘问题,通过数据科学以及机器学习深度学习的办法来进行建模得到结果。该模型是一个典型的回归问题。... 阅读详情

昨日学习了:
pandas读取csv的数据
head()–用于简单浏览数据形式,前五行
info()–可以看到每列名称,查询数据大小,类型及是否含有缺失值
describe()–数据的统计信息,包括mean,min,max,25%,50%,75%,及std
通过’.columns’ ,得到各列名称
通过‘.shape’得到矩阵大小
fillna(-1)将缺省值用-1代替

定义了一个统计函数,方便后续信息统计

def Sta_inf(data):
print(’_min’,np.min(data))
print(’_max:’,np.max(data))
print(’_mean’,np.mean(data))
print(’_ptp’,np.ptp(data))
print(’_std’,np.std(data))
print(’_var’,np.var(data))

python 中numpy的var,std,ptp
var:表示方差,即各项值-均值的平方求和后再除以N。方差(Variance):表示一个随机变量的离散程度,也就是该变量离其期望值的距离。
std:表示标准差,是var的平方根。
ptp:最大值与最小值的差
在这里插入图片描述
利用plt.hist(Y_data)绘制价格的分布统计图

二手车交易价格预测:EDA-数据探索性分析

数据探索在机器学习中我们一般称为EDA(Exploratory Data Analysis),是指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。
数据探索有利于我们发现数据的一些特性,数据之间的关联性,对于后续的特征构建是很有帮助的。

1. EDA介绍

听了小雨姑娘关于EDA数据探索性分析的直播课,这里转载自杨煜队伍的分享的关于直播课的思维导图:在这里插入图片描述

2. 学习内容:

对于数据缺省值的可视化分析

数据缺失和异常
查看每列的存在nan情况
异常值检测

了解预测值的分布

总体分布概况(无界约翰逊分布等)
查看skewness and kurtosis
查看预测值的具体频数

数字特征分析与类型特征分析

数字特征分析
相关性分析
查看几个特征得 偏度和峰值
每个数字特征得分布可视化
数字特征相互之间的关系可视化
多变量互相回归关系可视化

类型特征分析
unique分布
类别特征箱形图可视化
类别特征的小提琴图可视化
类别特征的柱形图可视化类别
特征的每个类别频数可视化(count_plot)

天池二手车交易价格预测Task2-赛题理解与数据探索性分析(EDA) 一、赛题理解 1.1赛题概述 赛题以预测二手车的交易价格为任务,数据集报名后可见并可下载,该数据来自某交易平台的二手车交易记录,总数据量超过40w,包含31列变量信息,其中15列为匿名变量。为了保证比赛的公平性,将会从中抽取15万条作为训练集,5万条作为测试集A,5万条作为测试集B,同时会对name、model、brand和regionCode等信息进行脱敏。 通过这道赛题来引导大家走进 AI 数... 阅读详情

相关推荐

二手车交易价格预测_Task2_EDA - 数据探索性分析

EDA - 数据探索性分析_代码示例部分 代码示例 1.载入各种数据科学以及可视化库 import warnings # 利用过滤器实现忽略警告语句 import pandas as pd import numpy as np import scipy.stats as st import pandas_profiling import seaborn as sns import miss...

Baby1601tree的博客 602

Python数据分析案例07——二手车估价(机器学习全流程,数据清洗、特征工程、模型选择、交叉验证、网格搜参、预测储存)

二手车估价案例(机器学习全流程,数据清洗、特征工程、模型选择、交叉验证、网格搜参、预测储存)

weixin_46277779的博客 1万+

零基础入门数据挖掘 Task02:数据的探索性分析(EDA)

Task02:数据的探索性分析(EDA) 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: 全新的界面设计 ,将会带来全...

Ajihappyer的博客 1152

阿里Datawhale二手车价格预测——优胜奖方案总结(代码开源)

一、解决方案及算法 分四个方面去阐述 数据处理 特征工程 选择的模型 集成的方法 数据处理 1、box-cox变换目标值“price”,解决长尾分布。 2、删除与目标值无关的列,例如“SaleID”,“name”。这里可以挖掘一下“name”的长度作为新的特征。 3、异常点处理,删除训练集特有的数据,例如删除“seller”==1的值。 4、缺失值处理,分类特征填充众数,连续特征填充平均值。 5、...

weixin_43999137的博客 3136

python_人人车二手车价格采集代码

人人车代码的采集。主要是人人车采用了字体的加密作者这里对字体加密进行了破解,采集了50页的信息,我看了一下,没注意车辆基础信息的xpath有问题,改成如下: false_base_car_info = response.xpath('//div[@class="title"]/h1/text()').extract() # 车辆的一些基础信息eg:比亚迪-秦 5046款 4.1T 尊贵型 希望你能看到呀,上传的资源删不了没办法

python_58同城二手车价格采集代码

58同城二手车价格采集的代码,主要包括 车的标志eg:大众,车的基础信息eg:车的型号 eg: 索纳塔 2011款 2.0L 自动尊贵版, 车的购买年限,购买价格,自动挡还是手动挡

二手车交易价格预测 ——EDA 探索性数据分析

文章目录二手车交易价格预测 ——EDA 探索性数据分析1.数据的导入及数据信息的查看2.变量是否有异常值3.变量是否含有缺失值4.样本是否存在不平衡问题5.变量之间是否存在冗余6.基于目标price进行分析查看各变量的分布情况6.1类别变量对price的影响分析6.2数值变量对price的影响分析总结 二手车交易价格预测 ——EDA 探索性数据分析 通过对赛题的分析,我们可以看出此类问题是对价格进...

kaxiaokui的博客 920

通达信短周期指标盘中实时监控与预警选股实战

本文详细介绍了通达信短周期指标在盘中实时监控与预警选股中的实战应用。通过分时指标改造、多股同列监控技巧及预警策略优化,帮助短线交易者捕捉转瞬即逝的交易机会,提升选股效率与准确性。重点解析了如何避免假信号干扰及系统卡顿问题,并探讨了从预警到自动交易的进阶应用。

weixin_29230805的博客 920

二手车交易价格预测|Task2 EDA-数据探索性分析

Task2 数据分析-核心内容介绍: EDA(Exploratory Data Analysis): 是指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。 Flowchart流程图: Created with Raphaël 2.2.0载入库和数据,粗略观察数据:head(),shap...

佛莫dj的博客 561

Unity面试题总结

Unity面试题

sinat_34014668的博客 1万+

单细胞分析避坑指南:SCTransform和Harmony参数设置详解

本文深入解析了单细胞分析中SCTransform标准化与Harmony批次校正的关键参数设置。针对10x Genomics等数据,详细探讨了如何通过调整`vars.to.regress`、`theta`等核心参数,在有效去除技术噪音的同时,避免过度校正以保留关键的生物学差异,从而提升分析结果的可靠性与可解释性。

weixin_29053073的博客 612

二手车交易价格预测-【数据的探索性分析(EDA)】

本文章为天池比赛参赛记录,共涉及【数据的探索性分析(EDA)】、【数据的特征工程】、【建模与调参】、【模型结果融合】四个部分,本文为第一部分。 比赛链接:https://tianchi.aliyun.com/competition/entrance/231784/information 教程链接:https://tianchi.aliyun.com/notebook-ai/detail?spm...

Leo007 2155

基于知识图谱的旅游推荐系统

这一系统整合了当今先进的数据技术:采集携程等大型平台的景点数据,通过爬虫技术源源不断地获取最新的旅游信息。此外,我们采用Neo4j图数据库来存储和处理这些数据,结合自然语言处理技术,为你提供精准的旅游建议。:通过直观的知识图谱展示,了解各个景点之间微妙的联系,无论是文化背景还是地理方位,你都能从中发现新的旅行灵感。准备毕业设计的同学,关注我们,这是一个集成了多种前沿技术的项目,为你的学术成果锦上添花。:不再浪费时间,系统根据你的偏好和历史评分,利用协同过滤技术推荐适合的旅游目的地。

qalangtao的博客-qalangtao.com 774

【数据挖掘】二手车交易价格预测大赛-探索性数据分析(EDA)

2.【数据挖掘】二手车交易价格预测大赛-探索性数据分析(EDA) 2.1 什么是探索性数据分析 探索性数据分析(EDA ,Exploratory Data Analysis),是指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。 2.2 本案例的探索性分析流程 实验工具:Jupyter...

ocean_R的博客 657

从零到一:QT for OpenHarmony 开发环境实战搭建与踩坑指南

本文是一份详尽的QT for OpenHarmony开发环境搭建实战指南。文章手把手教你如何在Windows和macOS系统上,从环境准备、核心工具(DevEco Studio与社区版QT SDK)安装配置,到创建首个QT Quick项目、解决构建部署中的常见问题,最终实现应用在OpenHarmony设备上运行。内容涵盖关键配置修改、资源管理及深度踩坑经验,旨在帮助开发者高效开启跨平台开发之旅。

weixin_29190573的博客 327

DaVinci Developer和DaVinci Configurator:AutoSAR开发与配置工具

a. 组件创建:DaVinci Developer允许开发人员创建不同类型的AutoSAR软件组件,如应用软件组件(Application Software Component,SWC)、基础软件组件(Basic Software Component,BSWC)等。除了以上功能,DaVinci Developer和DaVinci Configurator还提供了丰富的文档和代码生成功能,以支持开发人员和配置人员进行文档编写、代码生成和文档浏览等任务。用户可以根据具体需求对软件组件进行灵活的配置。

HmoaAmp的博客 2263

二手车交易价格预测-数据探索性分析(EDA)

二手车交易价格预测-数据探索性分析(EDA)1. EDA定义和目标1.1 定义1.2 目标2. EDA内容及代码2.1 导入工具库2.2 导入数据2.3 数据总览2.4 查看缺失和异常2.5 查看预测值的分布2.6 特征分析2.6.1 数字特征分析2.6.2 类别特征分析3.生成数据报告4. 问题及解决方法5. 总结 1. EDA定义和目标 1.1 定义 EDA(数据探索性分析),是指对已有的数据...

lz你ps的博客 1031

mediasoup源码分析(二十)服务端架构设计

目录 简介 信令服务(房间服务) 调度服务 媒体服务 简介 流媒体服务器大的方向上可以分为上述三个模块。目前行业内都是分布式服务,独立部署。mediasoup信令与媒体之间虽然可以管道通信。但在行业内,服务之间通过管道通信用的少。 一般是rpc、mq,或者传统的tcp。这块licode架构比较不错,licode是信令和媒体服务通过MQ消息队列解耦。 下面介绍一下这三个服务主要功能,当然文中所说也是一家之言。 信令服务(房间服务) 信令服务也称为房间服务。有的企业把信令和房间分开,信..

lcalqf的专栏 1546

EDA-数据探索性分析(二手车交易价格预测))

目录目标主要内容 目标 EDA的价值主要在于熟悉和了解数据集,验证数据集是否可以用于接下来的机器学习和深度学习的使用 了解数据集之后去了解变量间的相互关系以及变量于预测值之间的关系 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠 主要内容 函数载入 数据科学库:pandas,numpy,scipy 数据可视化:matplotlib,se...

qq_36348811的博客 534

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Task2 二手车交易价格预测-EDA-数据探索性分析

Task2 二手车交易价格预测-EDA-数据探索性分析 1.1EDA的目标 EDA的价值主要在于熟悉数据集,了解数据集,对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可 靠。 1....

wayenzhu的博客 563

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

python二手车价格预测_二手车交易价格预测——数据的探索性分析EDA

环境:Pycharm、python3.7import pandas as pdimport numpy as npfrom sklearn.model_selection import train_test_splitfrom matplotlib import pyplot as plt先导入数据:train = pd.read_csv('used_car_train_20200313.csv'...

weixin_42624889的博客 768

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Task2:数据的探索性分析(EDA)——二手车交易价格预测

数据的探索性分析(EDA)数据分析流程动手实践 数据分析流程 目的: 主要为了熟悉特征。通过统计分析和可视化工具了解变量间的相互关系以及变量与预测值之间的存在关系,为接下来的特征工程作铺垫。 载入数据 数据总览: 通过describe()来熟悉数据的相关统计量 通过info()来熟悉数据类型 判断数据缺失和异常 查看每列的存在nan情况 异常值检测 了解预测值的分布 总体分布概况(无界约翰逊分布...

qq_21578849的博客 1396

二手车交易价格预测——数据的探索性分析EDA

环境:Pycharm、python3.7 import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from matplotlib import pyplot as plt 先导入数据: train = pd.read_csv('used_car_train_2020031...

weixin_43148500的博客 270

天池二手车交易价格预测---EDA-数据探索性分析

二、EDA-数据探索性分析 2.1 EDA目标 EDA的价值主要在于熟悉数据集,了解数据集,对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。 完成对于数据的探索性分...

qq_41167295的博客 676

数据挖掘:EDA-数据探索性分析(以天池比赛——二手车交易价格预测为例)

数据分析主要步骤 1.载入各种数据科学以及可视化库: 数据科学库 pandas、numpy、scipy; 可视化库 matplotlib、seabon; 其他; 2.载入数据: 载入训练集和测试集; 简略观察数据(head()+shape); 3.数据总览: 通过describe()来熟悉数据的相关统计量 通过info()来熟悉数据类型 4.判断数据缺失和异常 查看每列的存在nan情况 异常值检测...

我的AI笔记 1349
上一篇: 二手车交易价格赛题及数据初步分析
下一篇: 二手车交易价格预测:特征工程
Simone_future
博客等级 码龄7年 0粉丝 21原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值