58、数据仓库与大数据分析的实践与架构

数据仓库与大数据分析的实践与架构

1. ETL 系统设计与实时分区

1.1 消除数据暂存

在一些实时架构中，特别是企业信息集成（EII）系统，会直接将数据从生产源系统流式传输到用户屏幕，而不将数据写入 ETL 管道中的永久存储。如果这类系统由数据仓库/商业智能（DW/BI）团队负责，团队应与高级管理层认真探讨备份、恢复、存档和合规责任能否得到满足，或者这些责任是否现在完全由生产源系统承担。

1.2 展示服务器中的实时分区

为支持实时需求，数据仓库必须将现有的历史时间序列无缝扩展到当前时刻。即使生产事务处理系统与 DW/BI 系统之间的差距在大多数情况下已缩小到 24 小时，但业务用户的需求仍要求数据仓库用实时数据填补这一差距。
设计实时分区是一种解决方案，它作为传统静态数据仓库的扩展。理想情况下，实时分区应满足以下要求：
- 包含自静态数据仓库上次更新以来发生的所有活动。
- 尽可能无缝地链接到静态数据仓库事实表的粒度和内容，理想情况下作为事实表的真正物理分区。
- 索引要轻，以便新数据能持续“流入”。理想情况下，实时分区完全不索引，但在某些关系数据库管理系统（RDBMS）中可能无法实现。
- 通过将实时分区固定在内存中，即使没有索引也能支持高响应性查询。

实时分区可有效用于事务和定期快照事实表，但对于累积快照事实表，这种方法可能并非必需。

1.2.1 事务实时分区

如果静态数据仓库事实表具有事务粒度，它会为源系统中从“记录历史”开始的每个单独事务包含一行。实时分区与底层静态事实表具有相同的维度结构，仅包含自上次加载常规事实表的午夜以来发生