2020-03-24打卡——Task2:数据的探索性分析（EDA）

2020-03-24打卡——Task2:数据的探索性分析（EDA）

用pandas_profiling生成数据报告：用pandas_profiling生成一个较为全面的可视化和数据报告(较为简单、方便) 最终打开html文件即可：
import pandas_profiling
pfr = pandas_profiling.ProfileReport(Train_data)
pfr.to_file("./example.html")

variables: 100%
29/29 [1:32:29<00:00, 191.38s/it]

correlations [recoded]: 100%
6/6 [01:06<00:00, 11.12s/it]

interactions [continuous]: 100%
529/529 [03:46<00:00, 2.33it/s]

table: 100%
1/1 [00:04<00:00, 4.68s/it]

missing [matrix]: 100%
2/2 [00:04<00:00, 2.14s/it]

warnings [correlations]: 100%
3/3 [00:00<00:00, 26.83it/s]

package: 100%
1/1 [00:00<00:00, 3.27it/s]

build report structure: 100%
1/1 [00:27<00:00, 27.01s/it]

打卡——Task2“EDA”探索数据分析经验总结

所给出的EDA步骤为广为普遍的步骤，在实际的不管是工程还是比赛过程中，这只是最开始的一步，也是最基本的一步。

接下来一般要结合模型的效果以及特征工程等来分析数据的实际建模情况，根据自己的一些理解，查阅文献，对实际问题做出判断和深入的理解。

最后不断进行EDA与数据处理和挖掘，来到达更好的数据结构和分布以及较为强势相关的特征

数据探索在机器学习中我们一般称为EDA（Exploratory Data Analysis）：

是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。

数据探索有利于我们发现数据的一些特性，数据之间的关联性，对于后续的特征构建是很有帮助的。

对于数据的初步分析（直接查看数据，或.sum(), .mean()，.descirbe()等统计函数）可以从：样本数量，训练集数量，是否有时间特征，是否是时许问题，特征所表示的含义（非匿名特征），特征类型（字符类似，int，float，time），特征的缺失情况（注意缺失的在数据中的表现形式，有些是空的有些是”NAN”符号等），特征的均值方差情况。

分析记录某些特征值缺失占比30%以上样本的缺失处理，有助于后续的模型验证和调节，分析特征应该是填充（填充方式是什么，均值填充，0填充，众数填充等），还是舍去，还是先做样本分类用不同的特征模型去预测。

对于异常值做专门的分析，分析特征异常的label是否为异常值（或者偏离均值较远或者事特殊符号）,异常值是否应该剔除，还是用正常值填充，是记录异常，还是机器本身异常等。

对于Label做专门的分析，分析标签的分布情况等。

进步分析可以通过对特征作图，特征和label联合做图（统计图，离散图），直观了解特征的分布情况，通过这一步也可以发现数据之中的一些异常值等，通过箱型图分析一些特征值的偏离情况，对于特征和特征联合作图，对于特征和label联合作图，分析其中的一些关联性。

参考文献

https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12281978.0.0.6802593a7ZAMVe&postId=95457