本文总结了大数据处理的各种方法，包括hash映射+hash统计、双层桶划分、Bitmap位图法、倒排索引、外排序以及分布式处理中的Hadoop/MapReduce。通过对海量数据的分而治之策略，解决内存限制问题，如利用位图快速查找、建立倒排索引进行高效搜索，以及运用外排序进行大文件排序。
在网上看了一些这方面的资料，参考了许多的博客，然后自己按照自己的理解整合了一下相关问题。
1. hash映射 + hash统计（分治的思想）；
（1） 海量日志数据，提取出某日访问百度次数最多的那个IP。
首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件（保证相同的ip都分在了同一个文
最低0.47元/天 解锁文章
扫一扫
2503
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
