hadoop-1.0.3 mrbenchc测试用例

最新推荐文章于 2023-05-16 19:51:19 发布

最新推荐文章于 2023-05-16 19:51:19 发布 · 99 阅读

文章标签：

#大数据 #测试

本文详细解析了Hadoop MapReduce任务中inputLines参数的作用及注意事项，特别是当未设置该参数时，可能导致的作业初始化问题。文章还提到了JobClient日志配置及输出问题。

hadoop jar hadoop-test-1.0.3.jar mrbench -inputLines 500 -maps 8 -reduces 50

注意, inputLines 选项默认为1，如果不设的话，会导致输入数据过小，则后面无论你maps参数设置多少，在作业初始化时InputFormat的getSplits函数会根据maps参数的数据计算平均每块的数据大小，若数据过小则总的splits数目，即maps数目则设置为默认值2, 查了1个小时才查明白怎么回事。。。。

他妹的...

PS: 此外，在修改JobClietn代码后，log4j里增加了一句：log4j.logger.org.apache.hadoop.mapred.JobClient=DEBUG, 然后发现其Log输出都在console上面不知道是咋回事。