13、数据质量：提升数据价值的关键

数据质量：提升数据价值的关键

1. 数据质量的重要性

数据是现代公司的重要资产，但数据往往存在模糊性、偏差、缺失变量和噪声等问题。以航空公司为例，根据调查数据，客户对某些机场的航班机组服务不满。初步假设是航班晚点导致客户不满，但进一步调查发现，按照美国运输部的定义，航班按时起飞率超过80%。然而，该定义是基于飞机离开登机口的时间，而非轮子离开跑道的时间，这就存在实际晚点但定义上按时的情况。

数据的问题可能源于内置偏差、测量错误、测量方法的改变、不精确或模糊不清等。这些问题不会自行消失，但意识到这些问题有助于我们减少复杂性。数据就像模糊的眼镜，虽然细节可能被掩盖，但能让我们看到情况的大致轮廓，为我们提供服务。

2. 不同类型数据的特点

2.1 结构化数据

企业资源规划（ERP）系统管理的是结构化数据，类似于关系数据库模型。它可能允许我们查看重要文档的图像，但对这些文档中的数据处理较少。

2.2 非结构化数据

非结构化数据包括扫描和索引的报告、通过程序在互联网上搜索到的关于产品的信息、呼叫中心通话记录转换为文本并索引后的数据、对Twitter推文的分析以了解谁在影响谁，以及在公司电子邮件中检测到的欺诈行为模式等。这些信息难以整齐地排列成行和列，它们不遵循传统数据库的模式。

2.3 半结构化数据

半结构化数据可能以行和列的形式存在，但仍然难以整齐地放入表格格式中。例如，石油行业使用的Log ASCII Standard（LAS）文件，包含了油井或气井的大量识别信息，如美国石油协会（API）编号、位置、所有者等。这些信息在使用文本阅读器（如Microso