数据清洗概述

1.数据质量的概述

     数据质量是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度，且在不同的业务场景中，数据消费者对数据质量有各自不同的观点。

    数据质量的特点有以下三点：

（1）“业务需求”会随时间变化，数据质量也会随时间变化。

（2）数据质量可以借助信息系统度量，但独立于信息系统的存在。

（3）数据质量存在于数据的整个生命周期，锁着数据的产生而产生，随着数据的消失而消失。

2.数据质量的评价标准

（1）准确性：要求数据中的噪声尽可能少。

（2）完整性：数据信息是否存在缺失的情况。

（3）简洁性：尽量选择重要的本质属性，并消除冗余。

（4）适用性：是评价数据质量的重要标准，看数据的质量能否满足决策的需要。

3.数据质量的问题分类

（1）基于数据源的“脏”数据分类

        通常情况下，将数据源中不完整、重复以及错误等有问题的数据称为“脏”数据。

（2）基于清洗方式的“脏”数据分类

        从数据清洗方式的设计者角度来看，可以将“脏”数据分为独立型“脏”数据和依赖型“脏”数据。其中，独立型“脏”数据可通过记录或本身属性检验出是否包含“脏”数据，不需要依赖其他记录或属性检测；依赖型“脏”数据主要包括缺失数据和重复数据等，由于依赖型“脏”数据的处理很难有通用的方法，故针对特定类型的“脏”数据设计特定的清洗方式，如，检测重复数据的方式有基本的字段匹配、递归的字段匹配等。

4.数据清洗

（1）数据清洗原理

        数据清洗是利用相关技术将“脏”数据转换为满足质量要求的数据，对于同一值的不同表示、拼写错误、不同的命名习惯、不合法的值以及空值都会导致“脏”数据出现，通过定义好的数据清洗策略和清洗规则对“脏”数据进行清洗，最后得到满足数据质量要求的数据。需要注意的