54、ETL子系统与技术详解

ETL子系统与技术详解

1. 工作流监控器（Workflow Monitor）

成功的数据仓库需要持续且可靠地为业务提供支持。为实现这一目标，ETL系统必须被持续监控，以确保ETL流程高效运行，且数据仓库能按时加载数据。

1.1 性能数据捕获

作业调度器（Job Scheduler）在每次启动ETL流程时，都应捕获性能数据，这些数据是ETL系统捕获的流程元数据的一部分。工作流监控器利用作业调度器捕获的元数据，提供一个仪表盘和报告系统，综合考虑ETL系统的多个方面。

1.2 监控内容

需要监控作业调度器启动的所有作业运行状态，包括待处理、运行中、已完成和暂停的作业，并捕获历史数据以支持性能趋势分析。关键性能指标包括处理的记录数、错误摘要和采取的操作。大多数ETL工具会捕获用于衡量ETL性能的指标。当ETL作业完成时间与历史记录有显著差异时，应触发警报。

1.3 基础设施性能监控

工作流监控器还应与作业调度器结合，跟踪基础设施组件的性能，包括CPU使用率、内存分配和争用、磁盘利用率和争用、缓冲池使用情况、数据库性能以及服务器利用率和争用。这些信息大多是关于ETL系统的流程元数据，应作为整体元数据策略的一部分。

1.4 战略作用

工作流监控器在分析ETL管道的性能问题方面起着重要的战略作用。ETL性能瓶颈可能出现在多个地方，一个好的工作流监控器能显示瓶颈出现的位置。常见的性能瓶颈如下：
1. 对源系统或中间表的索引不佳的查询
2. SQL语法导致优化器选择错误
3. 随机访问内存（RAM）不足导致系统颠簸
4.