ETL架构中的38个子系统(三)

本文介绍了ETL过程中的关键子系统,包括审计维度生成、数据质量过滤、错误事件处理等,旨在确保数据处理的质量和效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

The 38 Subsystems of ETL

?

By Ralph Kimball, 20044

?

6.审计维度生成系统(Audit Dimension Assembler System

?

主要功能是将与事实表相关的元数据内容加载到一张审计维度表中,这样最终用户可以像查看普通维度一样查看与事实表相关的元数据。

?

7.数据质量过滤系统(Quality Screen Handler System

?

主要功能是在ETL的处理过程中自动的检测所有的数据质量问题。检测的结果将进入错误事件处理系统(详见子系统8)。

?

8.错误事件处理系统(Error Event Hander System

?

主要功能是全面的记录和报告在ETL处理中的所有的错误事件。包括各类错误的分枝处理逻辑,还包括对ETL处理中数据质量的实时监控。

?

9.代理键生成系统(Surrogate Key Create System

?

主要功能是以一种鲁棒的机制生成流水的代理键,生成规则不依赖与任何维度,也不依赖与任何数据库实例,可以支持分布式系统。

?

10.缓慢变化维处理系统(Slowly Changing Dimension ProcessorSCD

?

主要功能是处理维度表的属性随时间变化的情况,处理方式为:类型1(直接覆盖),类型2(生成新行),类型3(添加新列)。

?

原文请参阅这里<o:p></o:p>

?

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值