数据挖掘之建模过程

研一的时候跟着实验室师兄做各种论文实验，如有特征选择及稳定性分析、迁移学习、标签推荐等，那时候只知道我在做一个叫“数据挖掘”这一个大类的东西，但因为做的东西太零碎，无法对数据挖掘有一个整体的认识。随着“阅历”的增长，渐渐的对数据挖掘有了一个轮廓性的认识，现对数据挖掘建模总结如下，如有误，还望各位大犇批评指正。

1.定义挖掘目标

定义挖掘目标即是指要在开始挖掘前，明确挖掘的目的，要达到什么效果？比如对于用户网上看视频，我们想做的可能是对视频进行关联分析或协同过滤，向用户推荐下一部视频；对于商品或新闻下的评论，我们可能想做的是对评论进行情感分析，来判断新闻或商品的正负情感/好坏；对于旅游公司，我们可能想做的是查找黏度较大的用户，然后为其针对性的制定相关服务。

只有把挖掘目标定下来了，才能够针对性的进行数据取样、数据预处理、建立挖掘模型及给出评价标准。

2.数据取样

圈内有句奉为真理的传言“数据的质量决定其挖掘的高度”。因此在取样阶段，需从业务系统中抽取和此次目标相关的数据子集并保证数据完整无缺，需要注意的是：

数据取样无需动用企业的全部数据，要去粗取精，找出具有相关性、时效性、可靠性的数据。否则对于高维度的数据，容易造成维度冗灾，消耗了大量的处理时间和空间，得到的结果也未必尽如人意。

3.数据探索

经过数据取样拿到的数据还不能直接使用，原因是数据还比较粗糙，得经过一个预处理的阶段才能使用。

异常值处理

首先要做的是找出数据集中的异常值，即不合理的数据，也称为离群点。比如一个人的年龄的数值为-1，笔记本电脑的重量为1吨，都被视为异常值。 ps.异常值的判断和处理方法将在之后博客中书写