28、精确的记录链接阻塞方法

精确的记录链接阻塞方法

1. 引言

在数据库之间识别近似重复记录是一个重要问题，也被称为重复检测或记录链接。在数据仓库等场景中，由于其数据来自多个数据源，数据质量对业务决策至关重要，因此重复检测尤为关键。

重复检测通常分为两个阶段：第一阶段是阻塞阶段，基于简单标准识别潜在重复项；第二阶段对潜在重复项进行深入比较，以确定最终是否为重复项。这种两阶段方法最早由Newcombe使用，并由Fellegi - Sunter模型进一步形式化，大多数近期的重复检测工作也遵循这一方法。

本文介绍了一种改进的排序邻域方法，该方法通过动态确定窗口大小（基于最大距离，如编辑距离），显著减少了误匹配的数量，同时不增加漏匹配的数量，克服了原方法固定窗口大小的缺点。

2. 阻塞阶段的要求和相关工作

2.1 阻塞阶段的要求

阻塞阶段的目的是用简单高效的方法找出所有重复记录，同时避免引入过多误匹配。理想情况下，阻塞阶段应满足以下要求：
- 无漏匹配（高召回率）
- 少误匹配（高精度）
- 少且低成本的比较（低成本）
- 低或无用户交互（易于配置）

然而，“高召回率”、“高精度”和“易于配置”之间存在权衡。由于召回率在后续阶段无法提高，而精度可在第二阶段提高，因此应优先考虑召回率。

2.2 相关工作

• 经典键方法 ：使用经典键方法进行记录链接，即根据键表达式的等价性确定记录等价性。为了获得高召回率，选择的键通常非常通用，但这可能导致块过大，并且键值中的小拼写错误会使记录被放入不同的块，同时寻找合