map进程数量和reduce进程数量

1-map task的并发数量是由切片的数量决定的，有多少个切片就有启动多少个map task；

2-切片是一个逻辑的概念，指的是文件中数据的偏移量范围；

3-切片的具体大小应该根据所处理的文件大小来调整；例如：小文件的切片有多个block组成；

 

reduce的并发数量由，partition分组决定

转载于:https://www.cnblogs.com/maxigang/p/9791142.html