hadoop Partiton中的字符串Hash函数改进
最近的MapReduce端的Partition根据map生成的Key来进行哈希,导致哈希出来的Reduce端处理任务数量非常不均匀,有些Reduce端处理的数据量非常小(几分钟就执行完成,而最后的part-结果显示其输出文件为0,没有处理任何任务),而有些Reduce端需要执行大量的任务(大概1个多小时)
根据下面的这篇大牛所写的文章,字符串hash算法也有很多种:
https://ww
原创
2017-04-11 09:53:44 ·
424 阅读 ·
0 评论