数据挖掘类竞赛笔记

MSE损失函数惩罚损失力度更大，最好要用MSE来当损失函数而不是MAE.MSE、MAE

对异常值进行处理。

步骤：

数据探索分析：

1.数据基本情况，看是否有缺失值，各字段数据类型，数值型字段的统计分布等。

2.观察数据集的密度曲线，看看以后是否需要对数据进行填补以及处理等。

3.类别特征中不同取值下、目标变量的分布。（例如看这个特征对信用分的影响，比如看不看电影对信用分有没有影响）。

4.顺序性的数值字段和目标变量的相关关系。

5.对数据做基本处理，再次观察单变量相关关系（相关性）。例如：长尾分布做对数处理变化。

6.所有连续变量之间的两两相关关系。

 

tip:

1.做离散化处理。防止过拟合。

2.对左偏或者右偏长尾分布做对数处理变化。