EDA-数据探索性分析

EDA-数据探索性分析

EDA的价值在于熟悉数据集，了解变量之间的关系以及变量与预测值之间的关系，为下一步的特征工程做准备，此次的目标就是做过baseline。

数据读取

用pandas读取后，发现regDate和creatDate看似都为同样的日期格式，但是用

pd.to_datetime(train['creatDate'], format='%Y%m%d', errors='ignore')

处理后只有creatDate这个特征能变为时间格式，另一个regDate就不行，于是使用apply+匿名函数的方法分别提取年月日特征。

数据缺失和异常

用train.isnull().sum()方法看bodyType,fuelType和gearbox存在nan的情况,然后用missingno这个包将数据nan可视化，发现测试集和训练集的nan分布差不多，这个骚操作我还是第一次见，值得学习。
然后用info看到notRepairedDamage这个是object类型，这个特征是汽车有尚未修复的损坏，然后画图看一下
发现分布一样，我就没管他但是在大佬的notebook课件（https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.12.1cd8593aw4bbL5&postId=95457）里看到他把它变成了nan这样有些模型可以自动处理，大佬就是大佬，学习了。
我画图看到有两个特征比较奇怪，