从规则到工单：大数据数据质量治理闭环

一、引言

很多团队第一次做数据质量治理时，会先接入表行数波动、字段空值率、主键重复率、枚举值异常等规则。短期看，这些规则确实能发现问题，但运行一段时间后，平台里经常堆满告警：有些没人认领，有些被反复忽略，有些修完几天后又复发。

质量治理失败的根源通常不是规则太少，而是规则没有进入生产链路。成熟的数据质量体系本质上是“规则化”和“运行化”的治理机制，而不是人工抽查。一个可运营的数据质量系统至少要回答五个问题：

问题	工程化答案
查什么	质量维度和规则模型
何时查	调度前、调度中、调度后、消费前
出问题怎么办	阻断、降级、告警、工单
谁负责修	表负责人、链路负责人、业务 Owner
如何防复发	根因归类、规则调整、SLA 修订、复盘沉淀

二、质量维度

数据质量维度是规则设计的分类框架，包括准确性、完整性、一致性、及时性、唯一性等维度。在大数据场景中，可以把常用维度落成如下工程规则：

质量维度	关注问题	典型规则	常见指标
完整性	数据有没有缺	分区是否存在、行数是否为 0、关键字段非空	空值率、缺分区次数、缺字段次数
唯一性	数据有没有重复	主键唯一、联合键唯一、明细去重	重复率、重复行数、唯一值占比
及时性	数据是否按时到达	T+1 表是否在 SLA 前产出、最新时间戳是否足够新	延迟分钟数、SLA 达成率
准确性	数据是否接近真实业务	金额非负、状态流转合法、指标与源系统对账	差异率、误差率、对账通过率
一致性	多处口径是否一致	汇总表与明细表一致、跨系统编码一致	对账差值、枚举不一致数
有效性	数据是否符合格式或取值域	日期格式、手机号格式、枚举值范围	非法值数量、格式错误率

质量维度不是越多越好，维度是为了让规则更容易管理，而不是为了堆概念。对于一张核心事实表，完整性、唯一性、及时性通常是第一优先级；对于指标宽表，准确性和一致性往往更关键。

三、规则配置

规则配置的核心目标是让质量检查从“写死在脚本里”变成“可配置、可复用、可审计”。一条工程化质量规则不应只包含 SQL 条件，还应该包含运行策略和处置策略：

+------------------+
| 质量规则配置      |
+------------------+
| 规则ID            |
| 规则名称          |
| 质量维度          |
| 数据对象