58、ETL系统与大数据分析：架构、实践与应用

ETL系统与大数据分析：架构、实践与应用

1. ETL系统设计与实时分区

1.1 消除数据暂存

在一些实时架构中，特别是企业信息集成（EII）系统，数据会直接从生产源系统流式传输到用户屏幕，而无需在ETL管道中将数据写入永久存储。如果此类系统由数据仓库/商业智能（DW/BI）团队负责，那么团队应与高级管理层深入探讨备份、恢复、存档和合规性责任的归属，明确这些责任是由生产源系统独自承担，还是由双方共同负责。

1.2 展示服务器中的实时分区

为满足实时需求，数据仓库需无缝扩展其现有的历史时间序列，直至当前时刻。例如，若客户在过去一小时内下了订单，就需要在整个客户关系的背景下查看该订单，并跟踪当天该订单每小时的状态变化。尽管生产事务处理系统与DW/BI系统之间的差距在大多数情况下已缩小至24小时，但业务用户对实时数据的需求仍促使数据仓库填补这一差距。

设计实时分区是应对这一需求的有效方案，它是传统静态数据仓库的扩展。为实现实时报告，需构建一个与传统数据仓库表在物理和管理上分离的特殊分区。理想情况下，实时分区是一个真正的数据库分区，事实表按活动日期进行分区。

实时分区应满足以下要求：
- 包含自静态数据仓库上次更新以来发生的所有活动。
- 尽可能无缝地与静态数据仓库事实表的粒度和内容相链接，理想情况下作为事实表的真正物理分区。
- 索引应尽可能少，以便新数据能够持续“流入”。理想情况下，实时分区完全不使用索引，但在某些关系型数据库管理系统（RDBMS）中，由于已构建的索引与分区方案在逻辑上不一致，这可能无法实现。
- 通过将实时分区固定在内存中，即使在没有索引的情况下也能支持高响应