51、ETL系统中的子系统与技术详解

ETL系统中的子系统与技术详解

1. 缓慢变化维度管理器

ETL架构中一个重要的元素是实现缓慢变化维度（SCD）逻辑的能力。当数据仓库接收到维度中现有行发生更改的通知时，有三种基本响应：类型1覆盖、类型2添加新行和类型3添加新列。SCD管理器应系统地使用这些技术以及其他SCD技术来处理维度中的时间差异。

1.1 SCD处理流程

以下是处理SCD代理键管理的总体处理流程：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(源中的新记录<br>(不在交叉引用中)):::process --> B{插入/更新}:::process
    B -->|字段类型1或3| C(更新字段):::process
    B -->|字段类型2| D(插入新行):::process
    E(源提取):::process --> F(CRC比较):::process
    F -->|CRC不同| G(更新CRC选项):::process
    F -->|CRC匹配| H(忽略):::process
    I(主维度交叉引用):::process --> J(分配代理键并设置日期/指示器):::process
    J --> K(更新维度属性):::process
    K --> L(更新先前最近的行):::process
    M(查找特定更改的字段):::process --> N(更新主维度交叉引用):::pro