面试准备之-海量数据处理题目

经过好久的面试，海量数据的题目虽然老套，但是还是会经常出。

下面，尤其对海量性的题目作一下总结

http://www.cnblogs.com/simonote/articles/3087185.html

题目一:100w个数据里面，选出最大的100个数

方法1：堆排序的方法，维护一个100个数的堆，每次一个数，和堆最上面的数比较，堆顶是100个里面最小的数（最小堆），假如比堆顶大，则删除堆顶，放新的数，然后下沉（复杂度log100），因此总复杂度为(nlog100)

方法2：partition方法，快排的思想

题目二：海量日志数据，提取出某日访问百度次数最多的那个IP。

首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法， 比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再