16、最坏情况高效的外部内存优先队列

最坏情况高效的外部内存优先队列

在数据处理中，外部内存优先队列的高效实现至关重要。本文将详细介绍一种外部内存优先队列的实现方法，包括其核心操作和性能分析。

1. 合并操作（MergeK）

MergeK 操作是将多个有序列表合并的关键步骤。具体步骤如下：
1. 从外部内存读取有序列表 $X_1, \ldots, X_{\ell}$ 的前缀到内部内存。
2. 在内部内存中进行合并，此合并需要 $O(\ell B \log_2 \ell)$ 次比较。
3. 将合并结果 $\hat{X}$ 写回外部内存，使得 $X_j$ 成为 $\hat{X}$ 与 $X_j$ 已存储在外部内存部分的连接列表，且 $X_j$ 保持有序。

MergeK 操作的资源消耗如下表所示：
| 操作 | 资源消耗 |
| ---- | ---- |
| I/O 次数 | 最多 $2\ell + K/B$ 次 |
| 比较次数 | $O((K + \ell B) \log_2 \ell)$ 次 |
| 内部内存元素数 | 最多 $K + \ell B$ 个；若增量写入结果列表，同时只需 $( \ell + 1)B$ 个元素 |

mermaid 流程图展示 MergeK 操作流程：

graph TD;
    A[读取前缀到内部内存] --> B[内部内存合并];
    B --> C[写回外部内存];

2. 批量插入（Batch Insertions）

将一个包