58、数据仓库与大数据分析：实时处理与最佳实践

数据仓库与大数据分析：实时处理与最佳实践

1. ETL 系统设计与实时分区

1.1 消除数据暂存

在一些实时架构中，特别是企业信息集成（EII）系统，会将数据从生产源系统直接流式传输到用户屏幕，而无需在 ETL 管道中进行永久存储。如果此类系统由数据仓库/商业智能（DW/BI）团队负责，团队应与高级管理层深入探讨备份、恢复、存档和合规责任的归属，明确这些责任是由团队承担还是仅由生产源系统负责。

1.2 展示服务器中的实时分区

为满足实时需求，数据仓库需无缝扩展其现有的历史时间序列至当前时刻。例如，若客户在过去一小时内下了订单，就需要在整个客户关系的背景下查看该订单，并跟踪当天订单状态的每小时变化。尽管生产事务处理系统与 DW/BI 系统之间的差距在大多数情况下已缩小至 24 小时，但业务用户对实时数据的需求仍促使数据仓库填补这一差距。

一种解决方案是构建实时分区，作为传统静态数据仓库的扩展。为实现实时报告，需创建一个与传统数据仓库表在物理和管理上分离的特殊分区。理想情况下，实时分区是一个真正的数据库分区，事实表按活动日期进行分区。

实时分区应满足以下要求：
- 包含自静态数据仓库上次更新以来发生的所有活动。
- 尽可能无缝地与静态数据仓库事实表的粒度和内容相链接，理想情况下作为事实表的真正物理分区。
- 索引应尽可能少，以便新数据能够持续“流入”。理想情况下，实时分区完全不使用索引，但在某些关系型数据库管理系统（RDBMS）中，由于已构建的索引与分区方案逻辑不一致，这可能无法实现。
- 通过将实时分区固定在内存中，即使在没有索引的情况下也能支持高响应性的查询。