学习笔记（三）数据预处理之数据清理

数据预处理

1概述。为了提高数据的质量，数据质量涉及准确性、完整性、一致性、时效性、可信性（反应多少数据是用户信赖的）和可解释性（反映数据是否容易理解）。数据预处理的主要步骤：数据清理、数据集成、数据归约和数据变换。

数据清理：例程通过填写缺失的值，光滑噪声数据、识别或删除离群点，并解决不一致性来“清理”数据。数据集成：集成多个数据库、数据立方体或文件。数据归约：得到数据的简化表示，它小但能够产生同样的分析结果。（包括维归约和数值归约）。规范化、数据离散化和概念分层产生都是某种形式的数据变换。

2数据清理。

数据清理：试图填充缺失值、光滑噪声并且识别离群点、纠正数据中的不一致。

缺失值的处理方法:

1. 忽略元祖：当缺少类标号时常这样
2. 人工填写缺失值：费时，数据量超大时不靠谱
3. 使用一个全局常量填充缺失值：例如NA,+替换，但是如果全用NA可能会形成一个有趣的概念，他们拥有相同的值。
4. 使用属性的中心度量（均值、中位数）填充缺失值：对于对称数据使用均值，而倾斜数据的分布应该使用中位数填充。
5. 使用与给定元祖组同属一类的所有样本的属性均值或中位数
6. 使用最可能的值填充缺失值：利用回归、贝叶斯形式化的方法基于推理工具或决策树归纳确定。

注意：缺失值并不意味着数据有错误。