关于Hadoop的GenericOptionsParser…

最新推荐文章于 2022-11-30 15:13:50 发布

原创最新推荐文章于 2022-11-30 15:13:50 发布 · 5.9k 阅读

CC 4.0 BY-SA版权

16 篇文章

订阅专栏

本文介绍如何在Hadoop MapReduce程序中正确配置执行队列。通过代码示例展示了两种方式：一种是在命令行中指定队列名称，另一种是直接在程序中设定。同时解析了GenericOptionsParser的作用及如何使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

由于集群为hadoop配置了执行队列，所以如果我们程序写成下面这样的话：

Configuration conf = new Configuration();

String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

...........

FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

我们在运行mapreduce的时候命令上要加 -D mapreduce.job.queuename参数

hadoop jar WordCount.jar WordCount.WordCount -Dmapreduce.job.queuename=root.default xrli/input xrli/output

如果实在想把这些参数都写到代码里面的话，就照着下面写：

Configuration conf = new Configuration(); //从配置文件读取参数

String[] ioArgs=new String[]{"-Dmapreduce.job.queuename =root.default","xrli/STJoin_in","xrli/STJoin_out"};

String[] otherArgs = new GenericOptionsParser(conf, ioArgs).getRemainingArgs();

....................

// 设置输入和输出目录

FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

这样运行的时候只要执行以下命令就行了。

hadoop jar WordCount.jar WordCount.WordCount

这里分析以下Hadoop的GenericOptionsParser类

它能够解析命令行参数的基本类。它能够辨别一些标准的命令行参数。

比如这里的-D mapreduce.job.queuename 就被它识别了，并且配置到了参数文件中去，而函数getRemainingArgs()就是获取了剩余的两个参数"xrli/STJoin_in","xrli/STJoin_out"，并且将它们组合为数组otherArgs。

它能够识别的参数包括： fs jt libjars files archives D tokenCacheFile

http://www.cnblogs.com/caoyuanzhanlang/archive/2013/02/21/2920934.htmlhttp://www.cnblogs.com/caoyuanzhanlang/archive/2013/02/21/2920934.html