数据分析EDA及代码实现

EDA目标
（1）EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
（2）当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
（3）引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
（4）完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结。

1. 载入各种数据科学以及可视化库:
数据科学库 pandas、numpy、scipy；
可视化库 matplotlib、seabon；
其他；
2. 载入数据：
载入训练集和测试集：

Train_data = pd.read_csv('train.csv', sep=' ')
简略观察数据(head()+shape)：

Train_data.head().append(Train_data.tail())

Train_data.shape
3. 数据总览:
通过describe()来熟悉数据的相关统计量：describe种有每列的统计量，个数count、平均值mean、方差std、最小值min、中位数25% 50% 75% 、以及最大值 看这个信息主要是瞬间掌握数据的大概的范围以及每个值的异常值的判断，比如有的时候会发现
999 9999 -1 等值这些其实都是nan的另外一种表达方式，有的时候需要注意。

Train_data.describe()

通过info()来熟悉数据类型：通过info来了解数据每列的type，有助于了解是否存在除了nan以外的特殊符号异常。

Train_data.info()
4. 判断数据缺失和异常
查看每列的存在nan情况：

Train_data.isnull().sum()</