40、数据仓库设计与ETL优化指南

数据仓库设计与ETL优化指南

1. 维度设计与数据关联

在数据处理过程中，若源记录在加载期间会经历多次重大的2类变更，或者需要将历史数据加载到事实表中，传统的处理方式可能就不再有效。比如，仅知道一天结束时产品的当前版本，并不足以确定该将哪个版本分配给某个交易。此时，需要在维度设计中用生效日期和时间以及过期日期和时间来替代当前标志，这样就能精准定位每次交易发生时产品记录的具体版本。

若维度设计允许2类变更，但未包含当前版本或时间戳，查找过程会变得复杂。这就需要在查找时包含所有2类属性。例如，每次交易都要知道与之关联的品牌代码和品牌名称，并将这些属性值用于产品查找。

在将交易插入事实表之前，必须为其分配适当的外键值。对于每个维度，会使用与交易关联的自然键值作为维度表的索引，进而获取相应的代理键。若允许2类变更，自然键值可能会在维度中多次出现，这时就需要补充查找逻辑来确定正确的版本。维度设计可通过以下方式辅助该过程：
- 添加当前版本列 ：在维度中添加当前版本列，能轻松识别自然键值的最新版本。
- 添加生效和过期日期 ：添加生效和过期日期，可在任意时间点轻松识别自然键值的正确版本。

若这两种机制都不可用，则需要在源交易中获取所有2类属性，并将它们全部纳入查找过程。

2. 加载过程优化

开发人员通常面临着开发快速高效加载过程的压力。对于批量加载，可用的时间窗口可能会与构建派生表和汇总表、构建立方体、重建索引、执行定期报告以及缓存结果等过程共享。对于实时加载，新交易的持续流入也对处理效率提出了类似要求。

加载星型