18、内存与 I/O 高效的重复检测算法解析

内存与 I/O 高效的重复检测算法解析

在数据处理过程中，重复检测是一项关键任务，它有助于提高数据质量和处理效率。本文将详细介绍几种内存与 I/O 高效的重复检测算法，包括内存中的重复检测算法、外部内存的重复检测算法，以及重复标记方法，并展示相关的实验结果。

1. 内存中的重复检测算法

对于情况 1，即所有工作负载都能驻留在内存中的情况，我们主要探讨如何检测两个清洁工作负载 CW1 和 CW2 中的重复记录。由于每个工作负载本身已经过本地清理且记录已排序，因此重复检测主要涉及跨工作负载的清理，即检测不同清洁工作负载之间的重复记录。有两种方法可以实现这一目标：

• 成对比较法
  在成对比较法中，CW1 中的每个记录都会与 CW2 中的每个记录进行比较。显然，这种方法的复杂度为 O(m * n)，其中 m 和 n 分别是 CW1 和 CW2 中的记录数。

• 排序邻域法（SNM）变体
  我们可以采用标准的 SNM 方法并进行一些修改来清理这两个工作负载。该 SNM 变体的两个主要步骤如下：

  1. 对合并后的工作负载 CW = CW1 ∪ CW2 进行排序。
  2. 对 CW 应用 SNM。

与标准的 SNM 方法相比，这个变体有两个重要区别：
- 在排序步骤中，SNM 变体不需要从头开始对整个工作负载 CW 进行重新排序。由于 CW1 和 CW2 已经预先排序，它可以更快速地对 CW 进行排序。例如，对于 CW1