hadoop partitioner个数与reducer个数的试验

最新推荐文章于 2021-04-04 08:55:00 发布

转载最新推荐文章于 2021-04-04 08:55:00 发布 · 104 阅读

文章标签：

#大数据

本文探讨了在MapReduce作业中设置不同的分区数与Reducer数量时的影响。通过实验发现，当分区数与Reducer数量相等时能正常运行；分区数为5而Reducer数量为1时也能正确工作并生成结果文件；但当Reducer数量大于分区数时，虽然任务显示完成，却产生了空文件且控制台报错。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

job.setPartitionerClass(myPartitioner.class);//设置了5个
job.setNumReduceTasks(2);

1.当分区数等于rducer数量时，正常运行，

2.当分区数等于5时，reduce为1时，正常运行,有一个结果文件

当reduce数量=2时报错

当reduce数（为6时）>5时运行提示已经完成而且成功了，，产生的是空文件，没有内容但是控制台一直抱一个错

17/05/21 22:47:33 INFO mapred.ClientServiceDelegate: Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
17/05/21 22:47:34 INFO ipc.Client: Retrying connect to server: mini2/192.168.71.72:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

关注博主即可阅读全文