Hadoop 里MapReduce里实现多个job任务包含（迭代式、依赖式、链式）

最新推荐文章于 2025-02-16 21:41:21 发布

原创

最新推荐文章于 2025-02-16 21:41:21 发布 · 5.1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

本文探讨Hadoop MapReduce中如何实现多个Job任务，包括迭代式方法，其中每个任务的输入是上一个任务的输出，以此达到最终结果。内容聚焦于关键代码实现。

一、迭代式，所谓的迭代式，下一个执行的Job任务以上一个Job的输出作为输入，最终得到想要的结果。这里我只写关键的代码了

Job job = new Job(new Configuration(),“test”);

JobConf jobConf=(JobConf) job.getConfiguration();
jobConf.setJobName("hadoopJoinTask");

//设置job输入路径
FileInputFormat.setInputPaths(inputPath);
//设置job输出的路径
FileOutputFormat.setOutputPath(jobConf, outPath);

Job job2 = new Job(new Configuration(),“test2”);

JobConf jobConf2=(JobConf) job2.getConfiguration();
jobConf2.setJobName("hadoopJoinTask");

//设置job2输入路径  job的输出路径
FileInputFormat.setInputPaths(outPath);
//设置job2输出的路径
FileOutputFormat.setOutputPath(jobConf2, outPath2);