24、数据仓库填充：NDS 与数据质量保障

数据仓库填充：NDS 与数据质量保障

在数据仓库的构建过程中，数据质量和数据填充是至关重要的环节。数据防火墙在确保数据质量方面发挥着关键作用，而在 NDS（规范化数据存储）中进行数据填充时，也有诸多要点需要考虑。

1. 数据防火墙的作用

数据防火墙是保障数据仓库数据质量的重要工具。每次它捕获或发现不符合数据质量规则的不良数据时，会将这些不良数据连同捕获规则、采取的操作以及发生时间一起存储在数据质量数据库中。基于此数据库，我们可以生成相关报告，还能设置数据质量系统，在特定数据质量规则被违反时通知相关人员。

与网络防火墙不同，数据防火墙还具备修复不良数据的能力。当检测到不良数据时，可设置其执行以下三种操作之一：
- 拒绝数据：不将其加载到数据仓库中。
- 允许数据：将其加载到数据仓库中。
- 修复数据：在加载到数据仓库之前对数据进行修正。

在将数据加载到规范化数据存储（或仅使用 DDS 架构时的 DDS）之前，通过防火墙规则对数据进行检查，能有效确保数据质量。

2. 填充 NDS 的要点

在 NDS + DDS 架构中，需要先填充 NDS 中的表，再填充 DDS 中的维度和事实表，因为 DDS 是基于 NDS 数据进行填充的。填充规范化数据存储与填充阶段表有很大不同，填充 NDS 时需要对数据进行规范化处理，而填充阶段表则不需要。

从阶段表或源系统中提取数据并加载到 NDS 数据库时，若记录不存在则插入，若已存在则更新。在填充 NDS 时，需要考虑以下几个问题：
- 规范化 ：NDS 中的表是规范化的，因此从阶段加载数据时，