49、ETL系统子系统与技术详解

ETL系统子系统与技术详解

在当今的数据驱动时代，ETL（Extract, Transform, Load）系统在数据仓库和商业智能领域扮演着至关重要的角色。它负责从源系统中提取数据，进行清洗和转换，最终加载到目标系统中，为企业的决策提供有力支持。下面我们将深入探讨ETL系统的相关技术和子系统。

1. 数据存档与元数据管理

在处理数据时，如果时间足够长或者无法重新创建原始提取，应按照旧的处理算法处理数据。每个暂存/存档的数据集都应附带元数据，描述数据的来源和处理步骤。这种数据谱系的跟踪不仅是某些合规要求明确规定的，也应成为所有存档情况的一部分。

在进行数据存档时，需要列出以下信息：
- 要存档的数据源和中间数据步骤。
- 保留策略。
- 合规性、安全性和隐私限制。

2. BI交付接口

ETL系统的最后一步是将数据交接给BI应用程序。ETL团队应与建模团队紧密合作，负责数据的内容和结构，确保BI应用程序简单快速。避免将复杂的物理模型直接交给BI应用程序，以免增加应用程序的复杂性、减慢查询或报告创建速度，让业务用户觉得数据过于复杂。

为了实现这一目标，需要完成以下任务：
- 列出将直接暴露给BI工具的所有事实表和维度表，这些信息应直接来自维度模型规范。
- 列出BI工具所需的所有OLAP立方体和特殊数据库结构。
- 列出为支持BI性能而同意构建的所有已知索引和聚合。

3. 可用技能考量

ETL系统的设计决策应基于可用资源。如果内部没有关键的C++处理模块编程技能，或者无法合理获取这些技能，就不应构建依赖这些模块的系统。