hadoop MapReduce程序不包含Reduce的设置

最新推荐文章于 2022-05-07 19:50:10 发布

j3smile

最新推荐文章于 2022-05-07 19:50:10 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： mapreduce hadoop path exception string eclipse

本文链接：https://blog.youkuaiyun.com/j3smile/article/details/7396951

hadoop 专栏收录该内容

21 篇文章

订阅专栏

本文介绍了在hadoop-0.20.2和1.0.0版本中，如何设置MapReduce任务不包含Reduce阶段。默认情况下，MapReduce会执行Reduce操作，但可以通过在mapred-site.xml配置文件中将`mapred.reduce.tasks`属性设为0来取消。然而，问题在于如何在Eclipse环境中使这个配置生效。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop-0.20.2版本：

	    public int run(String[] args) throws Exception {
	        Configuration conf = getConf();
	        
	        JobConf job = new JobConf(conf, TestSdfInputFormat.class);
	        
	        Path in = new Path(args[0]);
	        Path out = new Path(args[1]);
	        FileInputFormat.setInputPaths(job, in);
	        FileOutputFormat.setOutputPath(job, out);
	        
	        job.setJobName("TestSdfInputFormat");
	        job.setMapperClass(MapClass.class);
	        	
	        job.setNumReduceTasks(0);.//设置Reduce个数为0
	        job.setInputFormat(SdfTextInputFormat.class);
	        job.setOutputKeyClass(Text.class);
	        job.setOutputValueClass(Text.class);
	        
	        JobClient.runJob(job);
	        
	        return 0;
	    }

hadoop-1.0.0版本：

		public static void  main(String[] args) throws Exception {
		Job job = new Job();

	        Path out = new Path(args[1]);
	        FileInputFormat.setInputPaths(job, new Path(args[0]));
	        FileOutputFormat.setOutputPath(job, out);	        

	        job.setJobName("TestSdfInputFormat");
	        job.setMapperClass(TargetMapper.class);	        
	        	
	        job.setInputFormatClass(SdfTextInputFormat.class);
	        job.setOutputKeyClass(Text.class);
	        job.setNumReduceTasks(0);//设置个数为0
	        job.setOutputValueClass(Text.class);

	        System.exit(job.waitForCompletion(true)?0:1);
	    }

如果不设置的话，MapReduce会按照默认的Reduce处理。

也可以在mapred-site.xml下设置：

<property>
<name>mapred.reduce.tasks</name>
<value>0</value>
</property>

但是不知道应该怎么在eclipse使之生效。