MapReduce之mapper以及reducer的个数决定性因素
这个图大概可以描述mapreduce计算模型的执行过程,下面我们就围绕这个图聊几个问题,其中有工作中非常有用的问题:
1. mapper的个数
结论:mapper的个数是由输入数据的大小决定的,一般不需要我们去设置,如果你想控制mapper的个数,那么需要先了解hadoop是怎么控制mapper的个数。
如图所示,每个Mapper Tasker对应一个split(切片),要处理的file...
原创
2018-09-13 09:19:48 ·
7679 阅读 ·
3 评论