数据质量是数据分析结论有效性和准确性的基础。
主要从四方面进行评估:完整性、准确性、一致性和及时性
1.完整性
数据的记录和信息是否完整、是否存在缺失的情况,缺失主要包括记录的缺失和记录中某个字段的缺失。
2.准确性
数据中心记录的信息和数据是否准确,是否存在异常或者错误的信息
3.一致性
在跨度很大的数仓体系中有很多业务数仓分支,对于同一份数据保证在各个分支相同
4.及时性
保证数据及时产出才能保证数据的价值
措施:
1.任务优先级
调度是树形结构,配置叶子节点的优先级之后会向上传递到上游节点,叶子结点通常是服务业务的消费节点。因此在优先级的设置上,首先确定业务的资产等级,等级高的业务优先级高。
2.任务报警
和优先级类似,也是通过叶子结点传递。对于高优先级的任务,一旦发现任务出错或者可能出现产出延迟,就要报警给到任务和业务owner。
数据质量
最新推荐文章于 2022-06-28 08:01:24 发布