55、ETL系统设计与开发全解析

ETL系统设计与开发全解析

在数据仓库和商业智能（DW/BI）项目中，提取、转换和加载（ETL）系统的开发就像是一座隐藏在水面下的冰山，充满了挑战。本文将为你详细介绍构建数据仓库ETL系统的10个关键步骤，帮助你更好地规划和实施ETL系统。

1. ETL系统设计前的准备

在开始为维度模型设计ETL系统之前，需要完成逻辑设计，起草高级架构计划，并为所有数据元素起草源到目标的映射。同时，要收集所有相关信息，例如提取物对操作源系统的处理负担，并测试一些关键替代方案。比如，考虑将转换过程放在源系统、目标系统还是其自己的平台上，以及各平台上可用的工具及其有效性。

2. 制定ETL计划

ETL开发从高级计划开始，这个计划独立于任何特定技术或方法。不过，在进行详细规划之前，选择一个ETL工具是个不错的主意，这样可以避免后续的重新设计和返工。
- 步骤1：绘制高级计划
- 设计过程从一个简单的示意图开始，展示已知的计划部分，即源和目标。以一个虚构的公用事业公司的数据仓库为例，其主要数据源是一个有30年历史的COBOL系统。如果大部分或所有数据来自现代关系事务处理系统，图中的框通常代表事务系统模型中表的逻辑分组。
- 随着详细ETL系统规范的开发，高级视图需要更多细节。这个计划应经常更新和发布，有时可以保留两个版本的图，一个简单的用于与团队外人员沟通，一个详细的用于内部DW/BI团队文档。
- 步骤2：选择ETL工具
- 数据仓库市场上有众多ETL工具可供选择，大多数主要数据库供应商都提供ETL工具，通常需要额外的许可费用，第三方供应商也有优秀的ETL工具。 <