TopK问题详解

1. 基本topK问题描述：从1百万个数中找出最大（或最小）的5个数

看到这个问题，很多同学的第一反应会是：排序。那么，选择哪种排序方法呢，有同学说：快排，将所有数排序后，再选出最大的5个。虽然快排确实能解决这个问题，但是需要对1百万个数排序，但我们仅仅需要其中的5个。那么，有更好的方法吗？

还记得我们之前介绍的选择类排序算法吗？我们说过，选择类排序算法，最大的特点就是能在一轮排序后获得最终排序序列中位于指定位置的元素。比如，第一轮选择类排序，就能选出最大（或最小）的数。可见，只需进行5轮选择类排序即可达到题目要求。而使用快排，需要log(1百万)轮partion。
选择类排序，我们介绍了两种：简单选择排序和堆排序。那么，选哪个呢？当然是堆排序，时间效率更高。

问题的答案显而易见了：
第一步：建大顶堆，建堆后，最大元素位于堆顶。
第二步：将堆顶元素与最后一个元素交换，调整堆顶。重复该过程四次。位于保存堆的数组倒数的五个数，即为最大的五个数。
我们通过一个例子，来说明TopK问题。从10,6,9,8,7,5中选出最大的两个元素的过程如下图：

同学们看到这里是否已经明白了怎样用堆这种数据结构来解决topK问题呢？下面我们来看一道更具挑战性的问题：

2. 有10个文件，放在10台机器上。每个文件中有1百万个数，要求选出这1000万个数中最大的5个数。

看到这里，有的同学就傻眼了。把数都分开放了，怎么办？不要急，听蝙蝠哥慢慢给大家分析：

1. 只要最大的5个数，这5个数一定是在每个文件中最大5个数合起来共50个数中。
2. 先从每个文件中选出最大的5个数（堆排序），然后都传到一台机器上处理。问题变成，选出10个有序序列中最大的5个数。也就是有序序列的合并问题。
   经过以上分析，我们找到了解决方法。
   第一步，用“大顶堆”从10个文件中分别选出最大的5个，传到一台机器上
   第二步，将10个序列合并。可以设10个指针指向每个序列，每次通过9次比较选出最大的1个。共需要进行5轮，比较45次，即可选出最大的5个。
   怎么样，同学们明白了吗？如果明白了，我们再来增加难度，看题

   3. 有10个文件，放在10台机器上。每个文件中有1百万个数，要求选出这1000万个数中最大的50个数。

   第三道题目与第二道题目非常相似，区别仅在于从5个数变成了50个数。那有什么区别呢？第一步，与问题二完全相同，还是利用“大顶堆”进行。问题在于第二步，我们知道，有10个有序序列，从10个数中选出最大的，需要9次比较。现在，需要50个数，那就是450次比较。有没有更好的方法呢。当然，答案就是“败者树”。什么是败者树，为什么要用败者树呢？
   请看：败者树

原文地址：http://www.tobebatman.com/2015/05/07/%E9%9D%A2%E8%AF%95%E7%BA%A2%E9%A2%98TOPK%E8%AF%A6%E8%A7%A3/#0-douban-1-53067-8281435cf7fd5566f1df466eda875057