python数据挖掘笔记（1）—数据预处理

一、数据清洗

1.缺失值处理

均值，中位数，众数插补

使用固定值

最近邻插补

回归方法

插值法（拉格朗日插值法，lagrange();牛顿插值法；样条插值法，等等）

2.异常值处理

删除含有异常值的记录

视为缺失值

平均值修正

不处理（是在引起异常的原因正常的情况下）

二、数据集成

数据挖掘需要的数据往往分布在不同的数据源里，数据集成就是把多个数据源合并到一个一致的数据存储。

三、数据变换

1.简单函数变换

如可把不具有正态分布的数据变换成正态分布的数据

简单的对数变换或差分变换可以把非平稳序列变成平稳序列

可使用对数变换将大区间数据压缩变换成小区间数据

2.规范化

最小-最大规划化，也称离差标准化，将数据映射到[0,1]之间

零-均值规范化，也称标准差标准化，处理后数据均值为0，标准差为1

小数定标规范化

通过移动属性值的小数位数，将属性值映射到[-1,1]之间，移动的小数位数取决于属性值绝对值的最大值。

3.连续属性离散化

就是再数据的取值范围内设定若干个离散的划分点，将取值范围划分为一些离散化的区间，最后用不同的符号或整数值代表落在每个子区间中的数据值。

等宽法

等频法

基于聚类分析的方法

4.属性构造

利用已有属性集构造新的属性。

5.小波变换

小波变换的方法在信号处理，图像处理，语音处理，模式识别，量子物理等领域都有广泛的应用

小波基函数是一种具有局部支集的函数，且平均值为0，小波基函数满足

四、数据规约

在大数据集上进行复杂的数据分析和挖掘需要很长的时间，数据规约产生更小但保持原数据完整性的新数据集，在规约后的数据集上进行分析和挖掘更有效率。

1.属性规约

属性规约通过属性合并来创建新属性维数，或者直接通过删除不相关的属性来减少数据维数，从而提高数据挖掘效率，降低计算成本。主要方法有：

合并属性

逐步向前选择

逐步向后删除

决策树归纳

主成分分析 from sklearn.decomposition import PCA

2.数值规约

数值规约通过选择替代的，较小的数据来减少数据量。主要方法有：

有参数方法：只需存放参数，不需要存放实际数据

线性回归

多元回归

对数线性模型

无参数方法：需要存放实际数据

频率直方图

聚类

抽样