数据质量管理-优快云博客

数据质量管理涉及数据生命周期的各个阶段，旨在通过识别、度量和改善数据问题来提升数据价值。关键指标包括完整性、一致性、准确性等。在数仓项目中，关注ODS、DIM、DWD层的数据指标，如数据量变化、空值和重复值。数据质量和元数据管理涵盖了完整性检查、自定义规则、元数据类型如技术元数据和业务元数据等。

第1章数据质量管理概述

1.1 数据质量管理定义

数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。
数据质量管理是循环管理过程，其终极目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。

1.2 数据质量评价指标

数据质量管理的最终目标是改善，任何改善都是建立在评价的基础上。通常数据质量的评价标准包括以下内容。
在这里插入图片描述

第2章数据质量管理实操

2.1 需求加粗样式分析

我们的数仓项目主要监控以下数据的指标：
ODS层数据量，每日环比和每周同比变化不能超过一定范围
DIM层不能出现id空值，重复值；
DWD层不能出现id空值，重复值；
在每层中任意挑选一张表作为示例。

在这里插入图片描述

2.2 功能模块

在这里插入图片描述
数据质量管理和元数据管理怎么做的？
36
数据质量从以下⼏⽅⾯考虑：
完整性、⼀致性、准确性、唯⼀性、关联性、真实性、及时性、逻辑检查、离群值检查、⾃定义规则、
波动稽核
元数据管理主要从以下⼏个⽅⾯考虑：
技术元数据、存储元数据、运⾏元数据、计算元数据、调度元数据、运维元数据、业务元数据、维度、
指标