数据质量怎么监控

数据质量怎么监控

单表数据量监控
一张表的记录数在一个已知的范围内，或者上下浮动不会超过某个阈值

1. SQL 结果：var 数据量 = select count（*）from 表 where 时间等过滤条件
2. 报警触发条件设置：如果数据量不在[数值下限, 数值上限]， 则触发报警
3. 同比增加：如果((本周的数据量 -上周的数据量)/上周的数据量*100)不在
   [比例下线，比例上限]，则触发报警
4. 环比增加：如果((今天的数据量 - 昨天的数据量)/昨天的数据量*100)不在
   [比例下线，比例上限]，则触发报警
5. 报警触发条件设置一定要有。如果没有配置的阈值，不能做监控 日活、
   周活、月活、留存（日周月）、转化率（日、周、月）GMV（日、周、月）
   复购率（日周月）

单表空值检测

某个字段为空的记录数在一个范围内，或者占总量的百分比在某个阈值范围内

1. 目标字段：选择要监控的字段，不能选“无”
2. SQL 结果：var 异常数据量 = select count(*) from 表 where 目标字段 is
   null
3. 单次检测：如果(异常数据量)不在[数值下限, 数值上限]，则触发报警

单表重复值检测
一个或多个字段是否满足某些规则
5. 目标字段：第一步先正常统计条数；select count() form 表；
6. 第二步，去重统计；select count() from 表 group by 某个字段
7. 第一步的值和第二步的值做减法，看是否在上下线阀值之内
8. 单次检测：如果(异常数据量)不在[数值下限, 数值上限]， 则触发报警

跨表数据量对比
主要针对同步流程，监控两张表的数据量是否一致
9. SQL 结果：count(本表) - count(关联表)
10. 阈值配置与“空值检测”相同