技术16期:如何更好的保证数据质量【大数据篇】

数据质量管理不单纯是一个概念，也不单纯是一项技术、也不单纯是一个系统，更不单纯是一套管理流程，数据质量管理是一个集方法论、技术、业务和管理为一体的解决方案。

 

通过有效的数据质量控制手段，进行数据的管理和控制，消除数据质量问题进而提升企业数据变现的能力，一切业务、技术和管理活动都围绕这个目标和开展。

 

 

数据质量问题

 

数据质量问题通常会存在以下几个方面的问题，通常对数据质量的评估也是围绕这几个维度进行的。

 

 

• 数据准确性：用于分析和识别无效或者不准确的数据，不可靠的数据可能会导致严重的问题。

 

 

• 数据唯一性：用于识别和度量重复数据、冗余数据，重复数据是导致业务无法协同、流程无法追溯的重要因素，是需要解决的最基本的数据问题。

 

 

• 数据完整性：唯一性约束不完整、参照不完整；数据条目不完整、数据记录丢失或不可用；不完整的数据所能借鉴的价值就会大大降低，也是数据质量问题最为基础和常见的问题。

 

 

• 数据一致性：多源数据的数据模型不一致，例如：命名不一致、数据结构不一致、约束规则不一