6、数据质量、类型与处理方式全解析

数据质量、类型与处理方式全解析

在当今的数据驱动时代，数据的质量、类型以及处理方式对于各类项目的成功至关重要。下面将详细探讨这些关键概念。

1. 数据质量需求

许多机器学习项目因数据质量不佳而失败，那么数据质量究竟要多“好”才行呢？答案是“视情况而定”。一般来说，数据越一致、准确和完整越好，但数据质量差到何种程度会危及项目实施或人工智能系统的功能，取决于项目的具体情况。需要考虑以下几个方面：
- 数据用途 ：确定数据质量要求的最重要问题是“数据究竟用于什么？”例如，机场用于分析托运行李 X 光图片以检测炸弹的图像识别算法，由于涉及生命安全，对算法的正确性要求极高，因此 X 光图片必须高度准确，无模糊或其他错误，数据质量要求很高。而对于不太关键的项目，数据质量标准自然会较低。
- 数据量 ：如果要使用监督式机器学习方法创建图像识别算法，就需要数据。数据质量的要求也取决于数据量的多少。数据量越多，在训练机器学习模型时就可以忽略和排除某些数据点，同时仍有足够的数据来训练必要的算法和模型。
- 事后修复问题的能力 ：数据质量要求还取决于潜在问题的性质，因为这将决定数据质量问题在事后能在多大程度上得到修复。有些错误比其他错误更容易修复，例如产品交付日期变量因快递公司使用不同日期格式而不一致的问题，可以很容易地追溯修复。而不合理的值、数据不一致和缺乏完整性等问题则更难修复，通常需要与数据生成过程所在的业务部门密切合作。

此外，有一些方法可以事后补救某些数据质量问题。例如，缺失数据值有时可以通过数据插补方法“重建”，但这仅在特定情况下可行，具体取决于数