29、数据质量保障：从规则到行动

数据质量保障：从规则到行动

1. 模糊匹配的 UPSERT 操作

在数据处理中，有时需要进行一种特殊的操作，即当数据不存在时插入，存在时更新，这就是 UPSERT 操作。不过，这里采用了模糊查找来确定近似匹配。以下是具体流程：
1. 模糊查找艺术家名称 ：通过“Lookup Artist Names”框，使用模糊查找检查传入的艺术家名称是否与 NDS 艺术家表匹配。
2. 基于相似度拆分数据流 ：“Split Based on Similarity”框根据模糊查找的相似度得分拆分数据流，分为“插入分支”和“更新分支”。插入分支将传入数据插入艺术家表，更新分支则更新艺术家表中现有的行。
3. 执行与检查 ：保存并执行包，第一个数据行（插入的行）会显示相似度大于 85% 的十一条记录。点击“Continue”（绿色箭头），第二个数据查看器会显示在 NDS 中不存在且相似度小于 70% 的九条记录。最后检查 NDS 艺术家表，确保目标艺术家 NDS 表中有十一条记录被更新，九条记录被插入。

通过这种方式，我们创建了一个 SSIS 包，使用模糊查找转换而非精确匹配，将艺术家数据从暂存表导入并加载到 NDS 数据库中。

2. 外部数据源交叉核对

数据清洗活动可以分为内部和外部两种方式。

2.1 内部数据清洗

例如检查 100 家商店的相关信息，包括商店类型、位置、电话号码、网站、商店编号、区域和部门等。我们手动验证系统中的商店详细信息是否准确，如有错误则进行纠正。