51、ETL 子系统与技术详解

ETL 子系统与技术详解

在 ETL（Extract, Transform, Load）架构中，有多个重要的子系统和技术，它们共同协作，确保数据能够准确、高效地从源系统提取、转换并加载到数据仓库中。下面将详细介绍这些子系统和技术。

缓慢变化维度管理器（Slowly Changing Dimension Manager）

ETL 架构中一个重要的元素是实现缓慢变化维度（SCD）逻辑的能力。当数据仓库接收到维度中现有行发生更改的通知时，有三种基本响应方式：类型 1 覆盖、类型 2 添加新行和类型 3 添加新列。SCD 管理器应系统地使用这些技术处理维度中的时间差异，并为类型 2 更改维护适当的内务列。

• 类型 1：覆盖（Overwrite）

  • 原理 ：简单地覆盖现有维度行中的一个或多个属性。从变更数据捕获系统获取修订后的数据，覆盖维度表内容。
  • 适用场景 ：适用于纠正数据或无需保留先前值历史记录的情况。例如，收到纠正后的客户地址，覆盖是正确的选择。
  • 注意事项 ：如果维度表包含类型 2 更改跟踪，应覆盖该特定客户所有现有行中受影响的列。类型 1 更新必须从最早永久存储的暂存表向前传播到所有受影响的暂存表。
  • 性能优化