- 博客(1)
- 资源 (1)
- 收藏
- 关注
转载 hadoop mapper数量确定
刚开始学习hadoop 用于实践 reducer 的数目可以通过参数指定--Job.setNumReduceTasks(int) 通常设置为 (0.95~1.75 ) * 节点数量 * 每个节点上最大的容器数 而mapper的数目如何确定呢? inputsplit由如下算法得到:Math.max(minSize, Math.min(maxSize, blockSize)) 通俗讲就是i
2017-05-01 14:33:21
1107
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人