数据结构_海量数据面试题

面试题

1.哈希切割top K问题
给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？

2.位图应用
给定100亿个整数，设计算法找到只出现一次的整数
给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两个文件交集
1个文件有100亿个int，1G内存，设计算法找到出现次数不超过2次的所有整数

3.布隆过滤器+哈希切分
给两个文件，分别有100亿个query，我们只有1G内存，如何找到两个文件交集？分别给出精确算法和近似算法
如何扩展BloomFilter使得它支持删除元素的操作
如何扩展BloomFilter使得它支持计数操作

4.倒排索引
给上千个文件，每个文件大小为1K—100M。给n个词，设计算法对每个词找到所有包含它的文件，你只有100K内存

解题思路
1.给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？
1）首先可以把100G的文件划分成1000个文件，但不是简单的截取，需要让所有相同的ip都保在同一个文件