海量数据问题处理

1、 对于海量数据问题，一般数据量都远大于内存大小，没法一次装入所有数据。所以第一步是使用hash映射，以将数据分散到各个子集中。

2、使用hash表、set、map或bitmap数据结构对各个子集进行处理，

3、对各个子集的统计结果再进行汇总，得到最终的结果。

具体例子可以查看july 的博客，很经典：十道海量数据处理面试题与十个方法大总结