【数据挖掘】阿里云天池-数据挖掘入门-二手车价格预测

已于 2022-03-15 18:59:30 修改
阅读量2.6k 收藏 28
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 数据挖掘 文章标签： 机器学习 人工智能 数据分析 数据挖掘 阿里云天池
于 2021-06-13 14:56:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44343282/article/details/117875807
本文介绍了参与阿里云天池数据挖掘竞赛的二手车价格预测任务，包括数据预处理（如缺失值处理、异常值处理、归一化）、特征工程和建模过程。重点讨论了在数据挖掘中如何处理缺失值，异常值的处理策略，以及在特征工程中创建新特征的重要性。建模阶段提到了集成学习方法，如随机森林和LightGBM，并解释了Stacking模型融合的概念。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

题目

赛题以预测二手车的交易价格为任务，数据集报名后可见并可下载，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B，同时会对name、model、brand和regionCode等信息进行脱敏。
题目链接
代码链接

题目分析

  1. 数据特征：数据特征共有31个特征，类别特征10个，数值特征21个，其中15个匿名特征均为数值特征
  2. 数据量：训练集包含15万条数据，测试集包含5万条数据
  3. 题目类型：属于典型的回归问题
  4. 评估指标：平均绝对误差MAE
  5. 本题的数据挖掘需要更加注重模型的可解释性

数据预处理

缺失值

数据集 字段名 缺失数据量 缺失率
train model 1 6.67e-6
train bodyType 4506 3.004%
train fuelType
最低0.47元/天 解锁文章

200万优质内容无限畅学
阿里天池竞赛项目——二手车交易价格预测
weixin_43823338的博客
10-28 1万+
二、特征工程 特征工程主要涉及数据的处理、特征的构造和特征帅选。 特征构造 我们对照官方给的变量的定义，发现model、 brand、 bodyType、 fuelType等为取几个值的离散变量。当我们采用基于树模型（XGBoost、LightGBM）来解决回归问题时，针对每一棵树，需要做的是确定分裂的变量，以及分裂点。一般采用启发式方法，根据分裂后的收益（误差）是否下降，并选择下降最多的分裂点，来逐步构建一棵树。由于上述的几个变量的值，只是代表类别，并不代表实际的大小，根据值大小的分裂并不能代表实际的
【数据挖掘竞赛】零基础入门数据挖掘-二手汽车价格预测
m0_51933492的博客
11-01 9420
数据预处理时首先可以对偏度比较大的数据用log1p函数进行转化，使其更加服从高斯分布，此步处理可能会使我们后续的分类结果得到一个好的结果.notRepairedDamage 中存在空缺值，但空缺值用“-”表示，所以数据查看发现不了空缺值，将“-”替换成NaN。图中可以看出，seller,offerType,creatDate这几个特征值分布不均匀，分别查看。可以看出，seller,offerType这两个特征的取值无变化，几乎倒向同一个值，可以删除。一般来说汽车价格与使用时间成反比。
阿里天池二手车交易价格预测(一)——EDA
Ryan的博客
10-01 1196
阿里天池二手车交易价格预测(一)——EDA Exploratory Data Analysis是数据科学领取理解和分析数据的方法，通过不断的收集、分析和假设验证，以取得对数据的深入理解。 EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。 完成
数据挖掘入门-二手车交易价格预测
最新发布
m0_60901124的博客
05-13 1357
在这里，定义了一个XGBoost回归模型，使用了特定的超参数：1.n_estimators：集成中的提升轮数或决策树数量（本例中有120棵树）。2.learning_rate：防止过拟合的步长缩减。3.gamma：需要进一步划分叶子节点的最小损失减小量。4.subsample：用于拟合决策树的样本比例。5.colsample_bytree：用于拟合决策树的特征比例。6.max_depth：每棵树的最大深度。本次设计旨在通过实践，探索二手车交易价格预测的相关技术和方法。
天池_二手车价格预测_Task4_建模调参
ExcaliburUlimited的博客
05-05 1200
目录0️⃣ 前言0️⃣.1️⃣ 赛题重述0️⃣.2️⃣ 数据集概述1️⃣ 数据处理2️⃣ 线性回归2️⃣.1️⃣ 简单建模2️⃣.2️⃣ 处理长尾分布3️⃣ 五折交叉验证¶（`cross_val_score`）3️⃣.1️⃣ `cross_val_score`相应函数的应用3️⃣.2️⃣ 考虑真实世界限制3️⃣.3️⃣ 绘制学习率曲线与验证曲线¶4️⃣ 多种模型对比4️⃣.1️⃣ 线性模型 &am...
天池案例-二手车交易价格预测-回归(xgb+lgb)
weixin_41175904的博客
07-14 2633
1 案例描述 赛题以预测二手车的交易价格为任务，评测标准：评价标准为MAE(Mean Absolute Error)。 2 代码详情 # 基础工具 import numpy as np import pandas as pd import warnings import matplotlib import matplotlib.pyplot as plt import seaborn as sns from scipy.special import jn from IPython.display i
【天池学习笔记】二手车交易价格预测
i6223671的博客
04-12 5160
1.赛题理解 1.1背景 赛题以预测二手车的交易价格为任务，数据集报名后可见并可下载，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B，同时会对name、model、brand和regionCode等信息进行脱敏。 回归问题,属于传统数据挖掘,不适用神经网络 回归问题用机器学习,主要注意构建特征和选择模型 比赛主要应用xgb、lgb、catboost 价
阿里云天池赛-数据挖掘入门-二手车价格预测算法源码+项目说明.zip
01-23
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的竞赛项目学习资料，作为参考学习...阿里云天池赛-数据挖掘入门-二手车价格预测算法源码+项目说明.zip
阿里云天池-零基础入门数据挖掘 - 二手车交易价格预测运行结果-output.csv
07-23
阿里云天池-零基础入门数据挖掘 - 二手车交易价格预测
零基础入门数据挖掘 - 二手车交易价格预测
2301_80264808的博客
07-29 450
赛题以预测二手车的交易价格为任务，数据集报名后可见并可下载，该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取15万条作为训练集，5万条作为测试集A，5万条作为测试集B，同时会对name、model、brand和regionCode等信息进行脱敏。导入了若干常用的Python库，这些库主要用于数据处理、模型构建、可视化及评估。
天池二手车交易价格预测--特征工程
qq_41167295的博客
03-28 567
特征工程 3.1 特征工程目标 对于特征进行进一步分析，并对于数据进行处理 完成对于特征工程的分析，并对于数据进行一些图表或者文字总结 3.2 内容介绍 常见的特征工程包括： 异常处理： 通过箱线图（或 3-Sigma）分析删除异常值； BOX-COX 转换（处理有偏分布）； 长尾截断； 特征归一化/标准化： 标准化（转换为标准正态分布）； 归一化（抓换到 [0,1] 区间）； 针对幂...
数据挖掘 - 二手车交易价格预测(阿里天池)
qq_29423387的博客
04-05 1315
https://blog.youkuaiyun.com/CarryLvan/article/details/106797353 https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12281978.0.0.68021b43o0Uz9x&postId=95422 https://tianchi.aliyun.com/course/319?spm=5176.21206777.J_3641663050.20.309317c9ZA3PRl 未完待续 ...
阿里天池新人赛——二手车交易价格预测（赛题理解）
T_RNA75的博客
03-23 1511
阿里天池新人赛——二手车交易价格预测-Task2 数据分析 概述 本次新人赛是Datawhale与天池联合发起的0基础入门系列赛事第一场 —— 零基础入门数据挖掘之二手车交易价格预测大赛。赛事以二手车市场为背景，要求选手预测二手汽车的交易价格。这是典型的回归问题适合小白上手。 探索性数据分析 EDA（Exploratory Data Analysis) 在对赛题有初步的了解和认识以后进行初步的分析...
天池二手车交易价格预测---EDA-数据探索性分析
qq_41167295的博客
03-24 624
二、EDA-数据探索性分析 2.1 EDA目标 EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。 完成对于数据的探索性分...
AI实践营 Part 03：阿里云天池-二手车交易价格预测
2401_86388894的博客
07-29 763
我们使用PyTorch框架定义深度神经网络模型。在定义了网络结构之后，我们需要实例化这个模型，并定义适合回归任务的损失函数，比如均方误差（MSE）损失函数。# 假设我们已经通过某种方式确定了输入维度和隐藏层维度in_dim = data.drop(['SaleID', 'price'], axis=1).shape[1] # 假设除了SaleID和price外，其他都是特征。
天池二手车交易价格预测-task[5]-模型融合
数据挖掘学习笔记
04-04 421
集成模型往往在数据比赛中会有比较好的成绩 主要包括以下三种方法： 投票集成 平均 排名平均 1.简单加权平均 def Weighted_method(test_pre1,test_pre2,test_pre3,w=[1/3,1/3,1/3]): Weighted_result = w[0]*pd.Series(test_pre1)+w[1]*pd.Series(test_pre2)+w...
数据竞赛入门系列——天池二手车交易价格预测【2】数据分析——EDA
hzyaaa123的博客
03-24 1955
数据竞赛入门系列——天池二手车交易价格预测【2】数据分析——EDA一、介绍二、数据集观察2.1 加载数据2.2 数据形状总览2.2.1 训练集形状2.2.2 测试集形状2.3 数据集统计量总览三、数据集的缺失和异常处理3.1 查看缺失值情况3.2 查看异常值检测四、数据集分布情况五、数据集特征分析5.1 类别特征分析5.2 数字特征分析5.2.1 相关性分析5.2.2 查看几个数值特征的偏度和峰度...
天池二手车交易价格预测Task3-特征工程
zigzag_gy的博客
03-28 598
特征工程目标 对于特征进行进一步分析，并对于数据进行处理 完成对于特征工程的分析，并对于数据进行一些图表或者文字总结并打卡。 常见的特征工程包括： 异常处理： 通过箱线图（或 3-Sigma）分析删除异常值； BOX-COX 转换（处理有偏分布）； 长尾截断； 特征归一化/标准化： 标准化（转换为标准正态分布）； 归一化（抓换到 [0,1] 区间）； 针对幂律分布，可以采用公式： log(1+x...
阿里云天池二手车价格预测数据集解析
预测二手车价格是机器学习和数据挖掘的一个典型应用场景。通过对历史交易数据的学习，模型可以识别影响价格的关键因素，并根据这些因素预测未来或未知交易的价格。这对于买家和卖家都是有价值的：买家可以通过预测...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值