MATLAB数据分析与挖掘实战-数据探索-3.1 数据质量分析

最新推荐文章于 2021-04-09 20:26:33 发布

转载最新推荐文章于 2021-04-09 20:26:33 发布 · 1.6k 阅读

本文主要介绍了数据质量分析的主要任务，特别是如何检查样本数据中的脏数据，包括缺失值、异常值和不一致的值，并探讨了这些脏数据产生的原因。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据质量分析
主要任务：检查原始数据中（样本数据）是否存在脏数据
脏数据一般是指不符合要求，以及不能直接进行相应分析的数据，
在常见的数据挖掘工作中，脏数据包括：
缺失值
异常值
不一致的值
内部资料  泰迪科技（www.tipdm.com）*
重复数据及含有特殊符号（如#、￥、*）的数据
本小节将主要对数据中的缺失值、异常值和一致性进行分析

=======================================

缺失值分析：

缺失值分析
缺失值产生的原因
有些信息暂时无法获取，或者获取信息的代价太大。
信息被遗漏
人为因素：输入时认为不重要、忘记填写或对数据理解错误
物理故障：数据采集设备、存储介质、传输媒体的故障
属性值不存在
内部资料  泰迪科技（www.tipdm.com）*
在某些情况下，缺失值并不意味着数据有错误
对一些对象来说某些属性值是不存在的：如一个未婚者的配偶
姓名、一个儿童的固定收入等。
成立仅9天家政公司拿下300万政府大单：三年内无不良记录