数据质量

数据质量直接影响数据分析的准确性和有效性。完整性、准确性、一致性和及时性是评估数据质量的四大标准。完整性关注数据记录和字段是否完整;准确性涉及数据的正确性;一致性确保跨业务数仓的数据统一;及时性强调数据产出的时效性。通过优先级设定和任务报警机制,可以提升数据处理的效率和质量。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

数据质量是数据分析结论有效性和准确性的基础。
主要从四方面进行评估:完整性、准确性、一致性和及时性
1.完整性
数据的记录和信息是否完整、是否存在缺失的情况,缺失主要包括记录的缺失和记录中某个字段的缺失。
2.准确性
数据中心记录的信息和数据是否准确,是否存在异常或者错误的信息
3.一致性
在跨度很大的数仓体系中有很多业务数仓分支,对于同一份数据保证在各个分支相同
4.及时性
保证数据及时产出才能保证数据的价值
措施:
1.任务优先级
调度是树形结构,配置叶子节点的优先级之后会向上传递到上游节点,叶子结点通常是服务业务的消费节点。因此在优先级的设置上,首先确定业务的资产等级,等级高的业务优先级高。
2.任务报警
和优先级类似,也是通过叶子结点传递。对于高优先级的任务,一旦发现任务出错或者可能出现产出延迟,就要报警给到任务和业务owner。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值