【计算机算法与设计（4）】排序算法的原理和方法，以及寻找一个长序列中前k个最大数所运用的方法

要点4：掌握不同排序算法的原理和方法，以及寻找一个长序列中前k个最大数所运用的方法

📌 适合对象：算法学习者、计算机科学学生
⏱️ 预计阅读时间：60-70分钟
🎯 学习目标：掌握基于比较和不基于比较的排序算法，理解各种排序方法的原理和特性，掌握寻找前k个最大数的多种方法
📚 参考PPT：第 4 章-PPT-N2_modified（排序算法）- 排序算法与前k个最大数相关内容

---

📚 学习路线图

---

本文内容一览（快速理解）

1. 基于比较的排序算法：插入排序、堆排序、归并排序、快速排序，时间复杂度下界为Ω(n log n)
2. 不基于比较的排序算法：计数排序、基数排序、桶排序，时间复杂度可优于O(n log n)
3. 排序算法的特性：稳定性、原地性、时间复杂度、空间复杂度
4. 前k个最大数问题：从n个数中找出前k个最大的数
5. 多种解决方法：重复找最大、Select算法、堆方法、锦标赛树方法

---

一、基于比较的排序算法（Comparison-Based Sorting）：理解排序的基本方法

这一章要建立的基础：理解基于比较的排序算法通过比较元素大小来决定相对位置，时间复杂度下界为Ω(n log n)。

核心问题：如何通过比较元素大小来排序？有哪些经典的排序算法？

---

[!NOTE]
📝 关键点总结：排序把$a_1,a_2,a_3,\dots ,a_n$重排为一个递增序列。排序是很多算法的重要组成部分。用比较数字大小来排序的算法称为基于比较的排序算法。任何比较排序需要至少lg(n!) ≈ n log n次比较。

1.1 插入排序（Insertion Sort）：简单直观的贪心算法

概念的本质：

插入排序是一个简单的用贪心法的算法。思路是：

• 初始：把一个数$a_1$排好序（不需操作）
• 第1步：把两个数$a_1,a_2$排好序
• 第2步：把三个数$a_1,a_2,a_3$排好序
• 以此类推：每一步都将一个新元素插入到已排序的子序列中

图解说明：

💡 说明：所谓"排好"，是指"对应的几个数"排成了一个递增的子序列。每一步都是将当前元素插入到前面已排序的子序列的正确位置。

类比理解：

就像整理手中的扑克牌：

• 左手拿牌，右手从牌堆中取牌
• 每次取一张新牌，插入到左手已排序的牌中的正确位置
• 重复这个过程，直到所有牌都排序完成

实际例子：

插入排序过程：

初始：5  3  4  2  1

第1步后：3  5  4  2  1  （将3插入到5前面）
第2步后：3  4  5  2  1  （将4插入到3和5之间）
第3步后：1  3  4  5  2  （将2插入到1和3之间）
第4步后：1  2  3  4  5  （将1插入到最前面）

时间复杂度：O(n²)
优点：简单、稳定、原地排序
缺点：复杂度较高

 

---

1.2 堆排序（Heapsort）：基于堆数据结构的排序

概念的本质：

堆排序利用堆数据结构进行排序：

1. 建堆：将输入数据组织成一个最大堆
2. 排序：反复取出堆中最大值（根节点），与堆尾交换，修复堆
3. 重复：直到堆规模为1

图解说明：

💡 说明：每一轮，将堆中最大的数（即根中的数）与堆尾数字互换，即当前最大的数放到最后，然后堆规模减一、修复堆，为下一轮做准备。

类比理解：

就像选美比赛：

• 每次从所有选手中选出最美的（堆顶最大值）
• 把她放到最后的位置（已排序区域）
• 剩下的选手重新排名（修复堆）
• 重复直到所有人都排好

实际例子：

堆排序过程：

初始堆：[16, 14, 10, 8, 7, 9, 3, 2, 4, 1]

第1轮：交换16和1，修复堆
  → [14, 8, 10, 4, 7, 9, 3, 2, 1 | 16]

第2轮：交换14和1，修复堆
  → [10, 8, 9, 4, 7, 1, 3, 2 | 14, 16]

继续这个过程...
最终：[1, 2, 3, 4, 7, 8, 9, 10, 14, 16]

时间复杂度：O(n log n)
优点：原地排序
缺点：不稳定，比较次数较多（2n log n）

 

---

1.3 归并排序（Merge Sort）：分治法排序

概念的本质：

归并排序采用分治策略：

1. 分：把序列一分为二
2. 递归：用分治法递归地将两子序列排好序
3. 合：用合并算法把排好序的两个子序列合并为一

图解说明：

💡 说明：归并排序采用了基于中点的分治策略。底是p==r，即只剩一个元素（暗含已有序）。分是基于中点的子问题划分，合是通过合并算法合并两个有序子序列。

类比理解：

就像合并两个有序的队伍：

• 先把大队伍分成两个小队伍
• 分别整理两个小队伍（递归）
• 当小队伍只有一个人时，自然有序（底）
• 然后把两个有序的小队伍合并成一个大队伍

实际例子：

归并排序过程：

数组：[9, 6, 2, 4, 1, 5, 3, 8]

第1层：分成[9,6,2,4]和[1,5,3,8]

第2层：
  [9,6,2,4] → [9,6]和[2,4]
  [1,5,3,8] → [1,5]和[3,8]

第3层：每个子序列只有1-2个元素，直接排序

合并：逐层向上合并
最终：[1,2,3,4,5,6,8,9]

时间复杂度：O(n log n)，系数为1
优点：稳定排序，时间复杂度好
缺点：需要额外O(n)空间

 

---

1.4 快速排序（Quick Sort）：基于数值的分治法排序

概念的本质：

快速排序采用基于数值的分治策略：

1. 选择主元：取序列中一个数（如$A[r]$）为基准
2. 划分：把序列分为左、右两部分，使左边任何数$\le A[r]\le$右边任何数
3. 递归：分别对"左边部分"和"右边部分"再进行排序

图解说明：

💡 说明：选择主元元素的方法有很多，但排序性能都差不多，这里选择A[r]做为主元元素。一旦分成两部分后，则两部分的元素将永远不会再比较——这降低了比较次数，这也是分治法的特点，子问题互不交叠。

类比理解：

就像按身高排队：

• 选一个参考身高（主元）
• 比参考矮的站左边，比参考高的站右边
• 然后左边和右边分别再排队
• 最终整个队伍就排好了

实际例子：

快速排序过程：

数组：[9, 6, 2, 4, 1, 5, 3, 8]

选择主元8，划分：
- 左部分（≤8）：[6, 2, 4, 1, 5, 3]
- 右部分（>8）：[9]

递归排序左部分和右部分
最终得到有序序列

平均时间复杂度：O(n log n)，系数1.39
最坏时间复杂度：O(n²)（已有序时）
优点：原地排序，平均性能最佳
缺点：不稳定，最坏情况较差

 

---

二、不基于比较的排序算法（Non-Comparison Sorting）：突破O(n log n)下界

这一章要建立的基础：理解不基于比较的排序算法可以突破比较排序的Ω(n log n)下界，但往往有额外的条件限制。

核心问题：如何在不比较元素大小的情况下进行排序？这些算法有什么限制？

---

[!NOTE]
📝 关键点总结：任何比较排序需要至少lg(n!) ≈ n log n次比较。不基于比较的排序算法的复杂度可优于O(n log n)。不基于比较的排序算法往往有额外的条件限制。

2.1 计数排序（Counting Sort）：统计元素出现次数

概念的本质：

计数排序的基本思想：

• 对每一个数组元素$x$，确定数组中$<x$的元素个数
• 利用这一信息，就可以直接将$x$放到它在"输出数组"的对应位置上
• 例如：如果有17个元素小于$x$，那么$x$就应该在第18个输出位置上

要求：

1. 数组元素的值都是整数
2. 限制在一定范围内，$0\le a_1,a_2,\dots ,a_n\le k$，$k=O(n)$

算法步骤：

1. 统计：统计$A$里面有多少数等于0，有多少数等于1，…，有多少数等于$k$
2. 累计：对数组$C$做累计统计：有多少数是0、有多少数是小于等于1的、…、有多少数是小于等于$k$的
3. 输出：从$A[n]$到$A[1]$，把$A[\mathrm{1..}n]$中数字输出到$B[\mathrm{1..}n]$使得$B$中数字是排好序的

图解说明：

💡 说明：从A向B拷贝数据时，是从第"d"大、第"d-1"大、第"d-2"大…这样一个从后向前的次序填放的；而第一行取数据时，同样也采用了"n downto 1"这样一个从后向前的次序，从而保证数值相同的元素，(在B中)排序后，还保持A中原序，从而保证计数排序是稳定排序。

类比理解：

就像统计投票：

• 统计每个候选人的得票数
• 累计统计：有多少人得票数≤1，有多少人得票数≤2，…
• 根据累计统计，确定每个候选人的排名位置

实际例子：

计数排序示例：

输入：A = [4, 5, 3, 0, 2, 3, 4, 2]，k = 5

第1步：统计
C[0] = 1, C[1] = 0, C[2] = 2, C[3] = 2, C[4] = 2, C[5] = 1

第2步：累计
C[0] = 1, C[1] = 1, C[2] = 3, C[3] = 5, C[4] = 7, C[5] = 8

第3步：从后向前输出
A[8]=2, C[2]=3 → B[3]=2, C[2]=2
A[7]=4, C[4]=7 → B[7]=4, C[4]=6
...

输出：B = [0, 2, 2, 3, 3, 4, 4, 5]

时间复杂度：O(n)
优点：稳定排序，时间复杂度低
缺点：需要额外空间，要求整数且范围有限

 

---

2.2 基数排序（Radix Sort）：按位排序

概念的本质：

基数排序要求每个数组元素的数值是由$d$位数组成的整数，且每一位取$k$个允许的值之一（如十进制数中每位可以取0到9）。

做法：从右向左，即从最低位到最高位，逐位排序。这$n$个数字被排序$d$次，每次抽取一位作为关键字来对前一次排序的结果作进一步排序。

图解说明：

💡 说明：因为每一位的取值范围是常数k，可以用计数排序来完成。基数排序中，低位排序得到的次序，只有高位相同时才需要尊重。假如采用从高位到低位的排序方式的话，结果会错误。

类比理解：

就像整理文件：

• 先按文件名的最后一个字符排序
• 再按倒数第二个字符排序
• 继续按前面的字符排序
• 最终所有文件都按完整文件名排序

实际例子：

基数排序示例：

输入：[329, 457, 657, 839, 436, 720, 355]

按个位排序（第1次）：
720, 355, 436, 457, 657, 329, 839

按十位排序（第2次）：
720, 329, 436, 839, 355, 457, 657

按百位排序（第3次）：
329, 355, 436, 457, 657, 720, 839

时间复杂度：O(d(n+k))，通常d和k是常数，所以O(n)
优点：稳定排序，时间复杂度低
缺点：需要额外空间，要求是d位整数

 

---

2.3 桶排序（Bucket Sort）：分桶后排序

概念的本质：

桶排序要求$0\le A[i]<1$（$1\le i\le n$）。不满足时先做变换。

做法：

1. 分发：把这些数分发到编号为0到$(n-1)$的$n$个桶里
2. 排序：把各桶中数字用插入排序法排序
3. 串联：从0号桶开始到$(n-1)$号桶，依次把各个桶中排好的序列串连为一个序列

图解说明：

💡 说明：桶排序假定输入数据服从均匀分布，但实际上，即使输入数据分布不满足均匀分布，只要所有的桶的大小的平方和与总的元素数呈线性关系，桶排序仍可以在线性时间内完成。

类比理解：

就像分拣邮件：

• 把邮件按邮编分发到不同的邮箱（桶）
• 每个邮箱内的邮件再排序
• 最后按邮箱顺序把所有邮件串联起来

实际例子：

桶排序示例：

输入：A = [0.78, 0.17, 0.39, 0.26, 0.72, 0.94, 0.21, 0.12, 0.23, 0.68]，n = 10

分发到桶：
桶0: []
桶1: [0.17, 0.12]
桶2: [0.26, 0.21, 0.23]
桶3: [0.39]
桶6: [0.68]
桶7: [0.78, 0.72]
桶9: [0.94]

对每个桶排序后串联：
[0.12, 0.17, 0.21, 0.23, 0.26, 0.39, 0.68, 0.72, 0.78, 0.94]

时间复杂度：O(n)（平均情况）
优点：时间复杂度低
缺点：需要额外空间，要求数据在[0,1)范围内

 

---

三、寻找前k个最大数（Finding Top k Largest Numbers）：多种解决方法

这一章要建立的基础：理解从$n$个数中找出前$k$个最大数是一个重要的实际问题，有多种解决方法。

核心问题：如何高效地从$n$个数中找出前$k$个最大的数？

---

[!NOTE]
📝 关键点总结：在许多实际问题中，往往需要从$n$个数中找出$k$个最大的顺序数。这是一个需要理论联系实际的问题。实际应用中，根据$n$和$k$的关系以及$n$本身的大小来设计最佳算法。

3.1 问题定义（Problem Definition）：理解前k个最大数问题

概念的本质：

从$n$个数的集合或序列中，找出前$k$个最大的数。

实际应用：

• 从众多的网站中找出访问次数最多的前100个网站
• 从众多的高考考生中找出前1000名高考考分最高的考生
• 从所有视频文件中找出访问次数最多的前1000个视频

图解说明：

💡 说明：实际应用中，根据n和k的关系以及n本身的大小来设计最佳算法。不同的方法适用于不同的场景。

类比理解：

就像选秀比赛：

• 有$n$个选手参加
• 需要选出前$k$名
• 可以用不同的方法：全部排序、部分排序、维护一个候选列表等

实际例子：

前k个最大数问题示例：

输入：n = 10⁹（十亿）个数，k = 1000

目标：找出前1000个最大的数

不同方法的比较：
- 方法1：重复找最大 → 约1000n次比较
- 方法2：Select+比较 → 约60n次比较
- 方法3：归并排序 → 约30n次比较，但需要O(n)空间
- 方法4：堆方法 → 约20n次比较
- 方法5：锦标赛树 → 约n次比较，但需要2n-1空间

 

---

3.2 方法1：重复找最大数（Repeated Maximum Finding）

概念的本质：

重复$k$次使用找最大数的算法。

算法：

1. 找出当前数组中的最大值
2. 移除或标记该最大值
3. 重复$k$次

复杂度：约$kn$次比较

图解说明：

💡 说明：找最大数需要n-1次比较（定理5.1：任何采用比较的方法在n个互不相等的数字中找出最大顺序数的算法至少需要n-1次比较）。重复k次，总比较次数约为kn。

类比理解：

就像选秀：

• 每次从所有选手中选出第一名
• 把第一名移出
• 重复$k$次

实际例子：

重复找最大数方法：

输入：n = 10⁹，k = 1000

第1次：找最大值 → n-1次比较
第2次：找最大值 → n-2次比较
...
第1000次：找最大值 → n-1000次比较

总比较次数：约1000n次
时间复杂度：O(kn)

评价：简单但效率低，当k较大时不适用

 

---

3.3 方法2：Select算法+比较（Select + Comparison）

概念的本质：

先用Select算法找到第$k$顺序数，然后与所有数比较，大于等于该数的就是前$k$个最大数。

步骤：

1. 调用Select算法找到第$k$顺序数$x$
2. 遍历所有数，与$x$比较
3. 大于等于$x$的数就是前$k$个最大数

复杂度：Select算法需要约$60n$次比较，再加上$n$次比较，总共约$60n$次比较

图解说明：

💡 说明：Select算法可以在O(n)时间内找到第i顺序数。找到第k顺序数后，所有大于等于它的数就是前k个最大数。

类比理解：

就像设定一个分数线：

• 先找到第$k$名的分数（Select算法）
• 然后找出所有大于等于这个分数的学生
• 这些学生就是前$k$名

实际例子：

Select+比较方法：

输入：n = 10⁹，k = 1000

步骤1：Select算法找第1000顺序数
  → 约60n次比较

步骤2：与所有数比较
  → n次比较

总比较次数：约60n次
时间复杂度：O(n)

评价：比方法1好，但Select算法实现复杂

 

---

3.4 方法3：堆方法（Heap Method）：利用堆数据结构

概念的本质：

利用堆来找$k$个最大的顺序数有两种方法：

方法3a：最小堆方法

• 先取出$k$个数来建一个最小堆，来存放搜索过程中迄今为止最大的$k$个数
• 将余下的每个数和堆的根比较
• 如果小于等于根里的数，则丢弃
• 否则，用这个数取代根中的数并修复堆结构
• 依次检查完所有$n$个数之后，堆中的$k$个数就是要找的$k$个最大的数

方法3b：最大堆方法

• 用最大堆来对所有$n$个数排序
• 从堆中输出$k$个最大数字后，排序中止

图解说明：

💡 说明：最小堆方法最坏情况下大约需要2n log k = 20n次比较（当n=10⁹，k=1000时）。最大堆方法需要大约2n次比较建堆，而后输出k个最大数需要最多2k log n ≈ 60,000 << n次比较。最大堆方法的缺点是，当n很大时，堆所占用的空间很大。

类比理解：

最小堆方法：

• 就像维护一个"前k名"的名单
• 每次遇到更好的，就替换名单中最差的
• 最终名单就是前k名

最大堆方法：

• 就像把所有选手都排名
• 但只需要前k名，所以排到前k名就停止

实际例子：

堆方法示例：

输入：n = 10⁹，k = 1000

方法3a（最小堆）：
- 建k个元素的最小堆：O(k)
- 遍历n-k个数，每次最多log k次比较
- 总比较次数：约2n log k = 20n次

方法3b（最大堆）：
- 建n个元素的最大堆：约2n次比较
- 输出k个最大值：约2k log n ≈ 60,000次
- 总比较次数：约2n次
- 缺点：需要O(n)空间

评价：方法3a空间效率高，方法3b时间效率高但空间开销大

 

---

3.5 方法4：锦标赛树方法（Tournament Tree Method）：空间换时间

概念的本质：

利用锦标赛树来找$k$个最大顺序数：

• 锦标赛树是一个基于比较的排序算法，可以用一棵完全二叉树来描述
• $n$个叶子来存储$n$个要排序的数字
• 每个内节点代表一次比较，胜者（较大的数）参加下一轮比较
• 根节点处的比较决出冠军，即最大的数
• 找到最大值后，将其原来叶子所在的值改为$-\infty$，寻找下一个最大的数

图解说明：

💡 说明：寻找下一个最大的数值只需要O(log n)次比较，这是因为锦标赛树上内节点的比较，其实绝大部分都没有变，改变的只有上一轮最大值原所在叶子与根节点之间路径上的每个内节点。因此，只需要更新这条路径上的比较结果，就可以决出下一个最大的数。

类比理解：

就像锦标赛：

• 第一轮：所有选手两两比赛，胜者进入下一轮
• 最终决出冠军（最大值）
• 把冠军移出，更新比赛结果
• 很快就能决出第二名（只需要更新冠军路径）
• 重复$k$次，得到前$k$名

实际例子：

锦标赛树方法示例：

输入：n = 10⁹，k = 1000

第1轮：找最大值
  - 建锦标赛树：n-1次比较
  - 找到最大值

第2到k轮：找第2到第k大值
  - 每轮只需要更新路径：约log n次比较
  - 总共：(k-1)(log n - 1)次比较

总比较次数：
(n-1) + (k-1)(⌈log n⌉ - 1) ≈ n次比较

空间复杂度：2n-1（n-1个内节点+n个叶子）

评价：时间效率最高（约n次比较），但空间开销最大（2n-1空间）

 

---

3.6 方法比较（Method Comparison）：选择合适的方法

概念的本质：

不同方法适用于不同场景，需要根据$n$和$k$的关系来选择。

比较表：

方法	时间复杂度	空间复杂度	适用场景
重复找最大	O(kn)	O(1)	k很小
Select+比较	O(n)	O(1)	k中等
归并排序	O(n log n)	O(n)	需要全部排序
最小堆	O(n log k)	O(k)	k较小，空间受限
最大堆	O(n + k log n)	O(n)	k较小，时间优先
锦标赛树	O(n + k log n)	O(n)	k较小，时间优先

图解说明：

💡 说明：实际应用中，根据n和k的关系以及n本身的大小来设计最佳算法。例如，从十亿个数字中找出前一千个最大的数字，锦标赛树方法最合适（约n次比较）。

类比理解：

就像选择交通工具：

• 短距离：步行（重复找最大）
• 中距离：自行车（Select算法）
• 长距离：汽车（堆方法）
• 超长距离：飞机（锦标赛树）

实际例子：

方法选择示例：

场景1：n = 10⁹，k = 1000
- 推荐：锦标赛树方法
- 理由：时间效率最高（约n次比较），虽然空间开销大，但时间更重要

场景2：n = 10⁶，k = 10
- 推荐：最小堆方法
- 理由：空间效率高（O(k)），时间效率也足够好

场景3：n = 10⁶，k = 5×10⁵
- 推荐：归并排序
- 理由：k很大，接近n，直接排序更简单

 

---

📝 本章总结

核心要点回顾：

1. 基于比较的排序算法：

   • 插入排序：O(n²)，简单、稳定、原地
   • 堆排序：O(n log n)，原地但不稳定
   • 归并排序：O(n log n)，稳定但需空间
   • 快速排序：平均O(n log n)，原地但不稳定，平均性能最佳

2. 不基于比较的排序算法：

   • 计数排序：O(n)，稳定，要求整数且范围有限
   • 基数排序：O(n)，稳定，要求d位整数
   • 桶排序：O(n)，要求数据在[0,1)范围内

3. 前k个最大数问题：

   • 方法1：重复找最大 → O(kn)
   • 方法2：Select+比较 → O(n)
   • 方法3：堆方法 → O(n log k)或O(n + k log n)
   • 方法4：锦标赛树 → O(n + k log n)，空间换时间

知识地图：

关键决策点：

• 选择排序算法：根据数据特性（整数/实数、范围、稳定性要求）选择
• 选择前k个最大数方法：根据n和k的关系选择，考虑时间和空间权衡
• 稳定性考虑：如果需要稳定排序，选择插入排序、归并排序、计数排序、基数排序
• 空间考虑：如果空间受限，选择原地排序算法（插入排序、堆排序、快速排序）

---

💡 延伸学习：排序算法是计算机科学的基础，掌握不同排序算法的原理和特性有助于我们：

1. 根据实际需求选择合适的排序算法
2. 理解算法设计的各种思想（贪心、分治等）
3. 解决前k个最大数等实际问题
4. 为后续学习更复杂的算法打下基础