本文探讨了EDA在数据分析中的重要性，通过数据读取、处理缺失值、异常值检测，以及训练集与测试集的分布比较。利用pandas、missingno库和描述性统计分析特征。此外，通过画图分析数据分布，揭示了价格特征不符合正态分布，可能需要进行转换。最后，检查类别特征与数字特征的相关性，为后续特征工程提供依据。
EDA-数据探索性分析
EDA-数据探索性分析
EDA的价值在于熟悉数据集，了解变量之间的关系以及变量与预测值之间的关系，为下一步的特征工程做准备，此次的目标就是做过baseline。
数据读取
用pandas读取后，发现regDate和creatDate看似都为同样的日期格式，但是用
pd.to_datetime(train['creatDate'], format='%Y%m%d', errors='ignore')
处理后只有creatDate这个特征能变为时间格式，另一个regDate就不行，于是使用apply+匿名函数的方法分别提取年月日特征。
数据缺失和异常
用train.isnull().sum()方法看bodyType,fuelType和gearbox存在nan的情况,然后用missingno这个包将数据nan可视化，发现测试集和训练集的nan分布差不多，这个骚操作我还是第一次见，值得学习。
然后用info看到notRepairedDamage这个是object类型，这个特征是汽车有尚未修复的损坏，然后画图看一下
发现分布一样，我就没管他但是在大佬的notebook课件（https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.12.1cd8593aw4bbL5&postId=95457）里看到他把它变成了nan这样有些模型可以自动处理，大佬就是大佬，学习了。
我画图看到有两个特征比较奇怪，
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
