27、数据仓库的数据加载、ETL 与质量保障

数据仓库的数据加载、ETL 与质量保障

1. 数据仓库的组织架构与临时表创建

假设某娱乐公司进行了重组，仅保留两个部门：商业街业务（High Street Business）和在线业务（Online Business）。每个部门下又各有三个区域，分别是南北美洲、欧洲与非洲、亚洲与澳大利亚。

为应对这种组织架构变化，我们需要创建一个临时表（若行数不多，可使用表变量），用于记录旧区域和部门到新区域和部门的映射关系。操作步骤如下：
1. 创建临时表，记录旧区域和部门到新区域和部门的映射。
2. 将当前值存入前值列，并将今日日期存入前日期列。
3. 利用映射表，将当前列更新为新值。

2. 维度表与事实表的加载

2.1 维度表加载

加载维度表时，会涉及增量加载、键管理、非规范化和缓慢变化维度（SCD）等方面。

2.2 事实表加载

事实表加载的基本机制是从源系统（NDS）读取源行，查找维度键，并将这些键插入事实表。因此，事实表的加载需在维度表加载完成后进行。

2.2.1 SSIS 数据流

SSIS 中的数据流与特定示例类似，一个 OLE DB 源后接一系列查找转换。也可使用执行 SQL 方法，例如向产品销售事实表插入数据的 SQL 语句如下：

insert into fact_product_sales
( sales_date_key, customer_key, product_key,
store_key, order_id, line_numbe