从3000W行的数据取出前50

从3000W行的数据取出前50

一个数据文件，有3000W行，每行有一个id号，文件内容无任何排序。
现在让你把id前 TOP 位取出来, TOP = 50.

要求：你的程序最多能吃2G的内存，其他不限，要求考虑io/cup最优。

解决思路：

1 建一个top_array, 长度为50.
2 再建一个buffer, 长度为2^20 (1G)
3 循环开始
4   读取文件到buffer，直到buffer满为止
5   将Buffer的前50位读到top_array
7   将top_array排序，按照id升序
6   循环开始
7      接着读取buffer的下一位
       如果比最后一个还大，next;
        否则，插入到top_array相应位置，并删除最后一个。
    循环到Buffer全部读完为止

9  循环到文件读完为止

当然对to_arary进行插入的时候，用2分法，当然数据结构如果用最小堆/最大堆，也是一样的。

整体时间应该是

nlog(m)

posted on 2011-09-21 01:15  之乎者也2011 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/wrmfw/archive/2011/09/21/2183019.html