数据质量-稽核任务案例

规则案例

假设有一张用户表，包含3个字段： id、name、age ，每个用户是表中的一行，其内部数据如下图所示：

 

用户需要对该表配置如下的规则： age>10的这些用户，检测id字段为空的数据量占比不能超过5% 。
当数据不满足要求时，希望能实时收到预警消息：（对应我们系统的告警管理需要完成的内容）

以上需求可以分解为3个步骤来执行：
Step1：明确目标数据
需要对id字段做校验，且需要将age<10的用户过滤掉，即圈定出目标数据：

 

Step2：执行校验逻辑
对圈定完成的数据范围进行指标统计，本例中需要统计空值的数据量占比，即空值率：

 

Step3：期望值判断
第二步的校验逻辑执行完成后得出统计值，第三步就是对统计值是否符合要求进行判断：

 

以上3个步骤就是一条校验规则的后台步骤分解，通过这3个步骤即可判断数据内容是否符合要求，若不符合系统可自动发送告警。