hashtable

最近学习了hashtable的一点知识，发现可以用来解决大数据的一些问题。我们这里讲的大数据分析事实上并不是分布式和数据挖掘这些高深的概念，而是针对从从一个大文件或者一堆数据（内存放不下）中找出具有某种特点的数，这也是近年来各大公司经常考的问题。
　　面试题1：给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？
　　解析：100G的文件给我们的感觉是太大，我们的电脑内存一般都为4G左右所以不可能一次性把这么多的信息都加载到内存，所以就要进行切分成100份。IP地址是字符串太长，我们可以把它转化为整型%100，这样取模后的值都落在0-99的区间里，所取模后值相同的IP地址都被分配到同一个文件，这时我们就可以采用哈希表统计出每个文件中最多的那个IP地址，最后比较得到100个IP中最大的那个IP就可以了 。
　　面试题2：与上题条件相同，如何找到top K的IP？
　　解析：看到求TOP K个IP就要立马反应到使用堆排序，这里的堆排序应该注意的是要建一个小堆，想一下我们建大堆的话只能保证堆顶元素为最大的，这样只能得到最大的那个IP。
　　面试题3：给定100亿个整数，设计算法找到只出现一次的整数
　　解析：整数分为有符号和无符号两种，有符号数的取值为-2147483648~2147483648 是从-21亿到+21亿， 无符号数的范围为0~4294967296是从0到42亿，然而给了我们100亿个整数，要找出只出现一次的整数，所以我们还是要用到哈希表的思想，但我们最好不要定义一个整型数组，因为 42亿*4B 约为16G，这么大的数组我们再进行切分的话就太麻烦了，这里我们可以使用BitMap,用一个位来表示一个数存不存在，不存在表示为0，出现一次表示为1，出现一次以上用另一个位表示。这样就可以将数组的大小减为原来的16分之一。还遇到一个问题，就是到底怎么定义这个数组，正数好定义，负数的话我们可以用32位全1（-1）和它取异或取到和正数相同的位置，我们此时定义一个二维数组，一半表示正数一半表示负数，都位于同一行。此时我们使用1G的空间就可以解决这个问题了。

拓展：要是面试官问我这里只有500M或者更少的空间的话怎么做？减肥食谱：www.sheonline.cn
　　解析：同样采用切分的思想，不过我觉得这里我们直接可以按数的范围直接切分。要是有500M 内存的话，我们就切一次就可以了，此时如果我们有50%的几率一次就找到这个只出现一次的数，效率可能更高。
　　面试题4：给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两个文件交集？
　　解析：这道题思路和上面的一样。
　　面试题5：1个文件有100亿个int，1G内存，设计算法找到出现次数不超过2次的所有整数
　　解析：这个问题和以上唯一 不同这道题是找不超过两次的整数，方法一样。
　　面试题6：给两个文件，分别有100亿个query，我们只有1G内存，如何找到两个文件交集分别给出精确算法和近似算法!
　　解析：求两个文件的交集，这种算法我们肯定要用到比较，如果我们把两个文件都均分为100份，拿一个文件里的一份分别与另一个文件里的100份分别比较一次的话效率 就太低了，我们可以借用第1道面试题的思维对它们进行取模，这样我们只要比较取模的为同一值的两个文件比较就可以了，如果相同则标记。
　　面试题7：如何扩展BloomFilter使得它支持删除元素的操作？
　　解析：BloomFilter并不支持删除元素的操作，因为很可能产生哈希冲突（就是由不同的哈希函数算出的位置指向同一个位），这样改变一个位很可能会影响到其他元素的判断。这里我们可以按照和智能指针sharedptr的思想即“引用计数”来解决，我们添加一个count计数器，每当我们在这个位上表示一个元素时就让它count++，每删除一个涉及到这个位表示的元素时就让它count–,这样只当count为0时我们再对这一位置0，这样就完成了删除的操作。