Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现（十八）...

    首先，来说的是，reduce并发任务数，默认是1。

即，在jps后，出现一个yarnchild。之后又消失。

 

    

 

 

　　 这里，我控制reduce并发任务数6。

 

 

　　有多少个reduce的并发任务数可以在程序里控制，但有多少个map的并发任务数还没。

　　其实啊，有多少个map的并发任务数还没（是在分片中控制的）。

 

 

 

 

 

 

　1、现在，我们控制为map的并发任务数为4。（即是在分片中控制）

 

 

 

 

　　　2、　jps ->   生成个Runjar  -> 

 

 

 

 

 

　　　　　3、jps -> 生成个Runjar  ->  生成个MRAppMaster（运行map任务）

soga

 

 

 

 

　4、　jps  ->  生成个Runjar  ->  生成个MRAppMaster（运行map任务） -> 查看map并发任务数 ->

 

 

　　5、 jps  -> 生成个Runjar  ->  生成个MRAppMaster（运行map任务） -> 查看map并发任务数 ->  Map的Task进程被回收  ->查看reduce并发任务数 -> Reduce的Task进程被回收 –> jps

 

　　　　　　　　以上是单独控制了Mapreduce的map并发任务数和reduce并发任务数。

 

 

 

 

总结

　　前者Mapreduce的map并发任务数默认是1，控制reduce并发任务数为6。

　　后者控制map并发任务数为4，Mapreduce的reduce并发任务数默认是1。

　　综合即控制map，又控制reduce，不再赘述。

 

 

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5713652.html，如需转载请自行联系原作者