hadoop mapper数量确定
刚开始学习hadoop 用于实践
reducer 的数目可以通过参数指定--Job.setNumReduceTasks(int) 通常设置为 (0.95~1.75 ) * 节点数量 * 每个节点上最大的容器数
而mapper的数目如何确定呢？
inputsplit由如下算法得到：Math.max(minSize, Math.min(maxSize, blockSize))
通俗讲就是i
转载
2017-05-01 14:33:21 ·
1111 阅读 ·
0 评论
关注
分享
扫一扫