24、数据仓库填充：NDS 与 DDS 的实践指南

数据仓库填充：NDS 与 DDS 的实践指南

1. 数据防火墙保障数据质量

数据防火墙在数据仓库加载过程中扮演着至关重要的角色，它能够确保数据质量。每当数据防火墙捕获到不符合数据质量规则的不良数据时，这些数据会连同捕获规则、采取的操作以及发生时间一同被存储在数据质量数据库中。基于此数据库，我们可以生成相关报告，还能设置数据质量系统，在特定数据质量规则被违反时通知相关人员。

与网络防火墙不同，数据防火墙不仅能检测不良数据，还能对其进行修复。当检测到不良数据时，可设置以下三种操作：
- 拒绝数据 ：不将数据加载到数据仓库。
- 允许数据 ：将数据加载到数据仓库。
- 修复数据 ：在将数据加载到数据仓库之前进行修正。

在将数据加载到规范化数据存储（NDS）之前，我们会让数据通过防火墙规则进行检查，以此确保数据质量。

2. 填充 NDS 的考虑因素

在 NDS + DDS 架构中，需要先填充 NDS 中的表，再填充 DDS 中的维度和事实表，因为 DDS 是基于 NDS 数据进行填充的。填充 NDS 与填充阶段表有所不同，填充 NDS 时需要对数据进行规范化处理，而填充阶段表则无需如此。我们从阶段表或源系统中提取数据，然后加载到 NDS 数据库。若记录在 NDS 中不存在，则进行插入操作；若已存在，则进行更新操作。

填充 NDS 时，需要考虑以下几个方面：

2.1 规范化

NDS 是规范化存储，但源系统可能并非如此，因此需要对数据进行规范化