数据挖掘个人总结

一、入门

基本过程

1 数据清洗
2 特征工程
3 模型调参
4 生成结果

1.1 数据清洗

重要性：数据决定一切，数据越多模型效果越好
1）数值类型

• 加载数据为pandas数据表（python语言）或其他方便进行处理的数据类型
• 处理缺失值：直接删掉或者用其他值填充
• 归一化
• 标准化
• 转化数据的浮点类型等

2）文本类型

• 数值化/层级化

简言之，将原始数据转换成基本特征*

2.1 特征工程

重要性：决定了模型训练的上界

• 可视化观察特征关系
• 分组比较找出不同特征之间的关系
• 组合、创建新特征
• 深度学习找出潜在的特征关系（非监督学习）

3.1 模型调参

不必纠结于单个最优模型、单个最优参数，找好各个模型的最适参数后进行融合可以集大成

• 选择模型、改动参数进行按照规定评判原则对比调优
  • 交叉验证确定训练子集和测试子集的比例
  • 学习速率决定了最佳的运行速度
• 得到每个模型的最优结果后可以先尝试进行过基本权重融合
• 也可以使用GBDT或AdaBoost进行融合

4.1 提交结果

• 使用以上已训练好的数据对测试集数据进行预测，生成符合格式的submission.csv文件进行提交

最后，这只是本人在学习数据挖掘过程中总结的一些小经验，难免疏漏，欢迎指正。

二、两年后回顾

（2020-7-5）

2.1 基本过程

1）确定问题

主要有两点：

• 业务场景、
• 任务的类型（回归or分类）

2）相关调研

• 有哪些共识：问题的重要性、存在的挑战。
• 不同方法的优缺点。

3）理解数据

• 使用可视化工具观察特征分布，
• 使用简单的线性模型明确特征关系，
• 分析可能存在的外部可用信息。

4）构建深度模型

• 空间特征：CNN
• 时序特征：RNN
• 全局特征：Attention
• 拓扑特征：GNN

5）实验

• 确定数据集与Baselines
• 数据预处理
• 超参：隐藏层维度、学习率

6）输出论文

• 格式/语法
• 内容表达
• 行文逻辑