28、数据质量处理与清洗匹配全解析

数据质量处理与清洗匹配全解析

1. 数据质量处理概述

数据质量处理旨在确保数据仓库中的数据准确且完整，通常在数据进入仓库的过程中对其进行检查。该过程包含三个关键方面：检查、报告和纠正。

1.1 示例说明

以 Amadeus 娱乐案例为例，客户可购买产品或订阅套餐。客户首次订阅套餐的日期为首次订阅日期，最近取消订阅的日期为最后取消日期。若 ETL 过程提取的客户记录中，最后取消日期早于首次订阅日期，这显然是无效情况。数据质量处理会检测到该问题并报告给负责订阅数据的人员，他们会在源系统中纠正数据，随后将正确数据加载到数据仓库。

1.2 数据质量处理机制

通过一个包含 ODS + DDS 架构并添加了数据质量组件的架构图（图 9 - 1），我们可以了解数据质量处理的工作机制。图中各数据质量组件如下：
- 数据防火墙 ：用于检查传入数据的程序，物理上可以是 SSIS 包或存储过程。
- 元数据 ：存储数据质量规则的数据库，例如“最后取消日期必须大于首次订阅日期”。
- DQ 数据库 ：存储数据防火墙检测到的不良数据。
- DQ 报告和通知 ：定期读取 DQ 数据库，并将数据质量问题通知给相关责任人。
- 纠正 ：在源系统中纠正数据的过程。

1.3 数据处理流程

阶段 ETL 从源系统提取数据并加载到阶段数据库，数据防火墙依据元数据数据库中的数据质量规则检查数据。