mapreduce使用MultipleOutputs

最新推荐文章于 2024-06-12 17:06:35 发布

young-ming

最新推荐文章于 2024-06-12 17:06:35 发布

阅读量483

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/u011750989/article/details/53536374

Hadoop 专栏收录该内容

43 篇文章

订阅专栏

本文介绍了一种在Hadoop MapReduce作业中根据特定条件在Reduce端动态生成不同输出文件的方法。通过使用MultipleOutputs类，可以在reduce函数内部根据不同key值将数据写入到指定路径的不同文件中。

import org.apache.hadoop.mapreduce.lib.output.MultipleOutputs;
reduce端
		  private MultipleOutputs output;
		  @Override
	      protected void setup(Context context
	      ) throws IOException, InterruptedException {
	          output = new MultipleOutputs(context);
	      }
	     private String generateFileName(Text k,String goalpath) {
	    	 
	  //  	 if (k.toString().equals("hello"))
	    	 return goalpath+"/target";
	    	 
	    //	 return "other";	 
	    	 }
reduce函数内
output.write(oKey, oVal,generateFileName(targetKey,goalpath));