65、带比较错误的外部内存排序算法解析

带比较错误的外部内存排序算法解析

在数据处理领域，排序是一项基础且关键的操作。然而，在实际应用中，比较操作可能会出现错误，这给排序带来了挑战。本文将介绍几种在外部内存模型下处理带比较错误排序问题的高效算法。

1. 问题背景与动机

在对 $n$ 个不同可比较元素进行排序时，比较操作可能会以固定概率 $p < 1/2$ 给出错误结果。这种错误分为持久错误和非持久错误：
- 持久错误 ：对两个给定元素的比较结果始终错误。
- 非持久错误 ：每次比较的正确性独立确定。

排序带比较错误的需求源于多个方面，例如通过 A/B 测试对在线对象进行排名。这种测试在真实生产环境中评估新技术或技术选择的影响，涉及大量用户和选择，因此外部内存解决方案对于管理此类实现非常有帮助。

由于存在持久比较错误，无法总是正确地对数组进行排序。因此，引入了元素错位的概念：
- 元素错位 ：元素在给定数组中的位置与其在正确排序数组中的位置之间的绝对差值。
- 最大错位 ：数组中元素的最大错位。
- 总错位 ：数组中所有元素错位的总和。

已知在持久比较错误下，排序算法能达到的最佳效果是最大错位为 $O(log n)$，总错位为 $O(n)$。

现有的带噪声比较的排序算法难以转换为高效的外部内存算法，因为它们都大量使用了噪声二分搜索，这会导致大量的输入/输出（I/O）操作。在大规模应用中，需要最小化对外部内存的 I/O 操