数据探索(一)

本文探讨了数据探索的重要性,强调了特征处理需一致性的原则。通过散点图和柱状图分析,发现y值在特定区域变化显著,并存在异常点。数据分布可能由多个子分布叠加,建议使用聚类进一步研究。此外,关注到几个字符串特征的特殊分布,特别是X4特征,其方差极小,可能影响作用。文章利用箱型图和小提琴图展示数据分布,揭示数据的偏态和集中度,小提琴图还能体现密度信息,辅助理解数据特性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

数据探索是拿到数据要做的第一步,目的是对要分析的数据有个大概的了解。弄清数据集大小,特征和样本数量,数据类型,数据的概率分布等。下面结合奔驰车数据做个梳理,也是个人学习的记录。
import numpy as np
import pandas as pd
train_df = pd.read_csv('train_b.csv')
test_df = pd.read_csv('test_b.csv')
print train_df.shape, test_df.shape
(4209, 378) (4209, 377)
train_df.head()
ID y X0 X1 X2 X3 X4 X5 X6 X8 X375 X376 X377 X378 X379 X380 X382 X383 X384 X385
0 0 130.81 k v at a d u j o 0 0 1 0 0 0 0 0 0 0
1 6 88.53 k t av e d y l o 1 0 0 0 0 0 0 0 0 0
2 7 76.26 az w n c d x j x 0 0 0 0 0 0 1 0 0 0
3 9 80.62 az t n
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值