数据仓库-数据质量监控

为什么要做数据质量管理？

提前发现问题，然后去解决，让数据更好的服务于业务。

什么时候开始做呢？

搭建数仓过程中，就要开始做 数据质量管理。要先行 不能后做。数据质量是数据驱动决策的前提

数据质量需要关注的四个点：即完整性、准确性、一致性和及时性

完整性是指数据的记录和信息是否完整。一般会在数据接入的时候来做数据完整性校验

准确性是指数据中记录的信息和数据是否准确 一般准确性的监控多集中在对业务结果数据的监控，比如每日的活跃、收入等数据是否正常

一致性是指同一指标在不同地方的结果是否一致。这是由于计算口径或者开发人员的不同，造成同一指标出现的不同的结果

及时性是要保障数据能够及时产出，这样才能体现数据的价值。可以监控结果数据是否在指定时间点前计算完成。

那具体怎么做的？

表级别的监控：对表的量级用同环比设置一定的阈值进行校验

字段级别的监控：

 枚举值的校验：产品类型、状态值    count(distinct)

 范围判断：特别大的金额。

 脏数据校验：关联维度表去做校验

全链路的监控