海量日志数据，提取出某日访问百度次数最多的那个IP----哈希表

1、海量日志数据，提取出某日访问百度次数最多的那个IP。

此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。

再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即为所求。

 IP地址最多有2^32=4G种取值可能，所以不能完全加载到内存中。可以考虑分而治之的策略，按照IP地址的hash(IP)%1024值，将海量日志存储到1024个小文件中。每个小文件最多包含4M个IP地址。对于每个小文件，可以构建一个IP作为key，出现次数作为value的hash_map，并记录当前出现次数最多的1个IP地址。有了1024个小文件中的出现次数最多的IP，我们就可以轻松得到总体上出现次数最多的IP。

编码思路：1、生成若干个子文件；2、对于每个小文件，可以构建一个IP作为key，出现次数作为value的hash_map；3、获取每个子文件中访问次数最多的键值对；4、获取所有文件中访问次数最多的键值对，即对每个子文件中访问最多的键值对求取最大值。

原文链接：https://blog.youkuaiyun.com/brk1985/java/article/details/19497023