以下将从本次学习的六个环节进行总结:
-
赛题分析
此部分学习了EDA描述性统计分析。学习并掌握了缺失值分析、单调特征列分析。
数据分析的初步流程:查看标签info——>具体分析标签特征(单调性、出现频次、缺失率、分布情况)——>
分析训练集时别忘了兼顾测试集
-
数据清洗
查看数据缺失情况后对造成的原因进行分析及处理;异常值同理。根据主观遴选,对部分标签进行深度清洗。
此环节亦属于EDA分析。
-
特征选择
对数据进行合理分析后(计算统计特征),对部分标签进行特征合并。
方法包括:groupby、聚类方法、相关系数法、log平滑、wrapper、Embedded基于惩罚项的特征选择、
随机森林:平均不纯度减少
-
模型选择
-
模型融合
此两部分还未与前文知识有较好融合。后续会跟进学习。