MapReduce中自定义文件输出名

最新推荐文章于 2023-05-09 20:44:07 发布

ukakasu

最新推荐文章于 2023-05-09 20:44:07 发布

阅读量5.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： mapreduce HDFS

本文链接：https://blog.youkuaiyun.com/ukakasu/article/details/47302279

mapreduce 同时被 2 个专栏收录

6 篇文章

订阅专栏

HDFS

5 篇文章

订阅专栏

本文介绍如何在MapReduce中自定义输出文件名及路径。通过继承TextOutputFormat并覆盖setOutputName方法，可以简单替换默认文件名。若需完全自定义输出逻辑，则需创建自定义的FileOutputFormat类及RecordWriter类。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MR的输出结果默认为part-r-00000，我们可自定义易识别的名字替代part，如score-r-00000

		job.setOutputFormatClass(MyOut.class);
		
		
		MyOut.setOutputName(job, "score");//自定义输出名
		
		job.waitForCompletion(true);

        //自定义MyOut类继承TextOutPutFormat，并覆盖其中的setOutPutName方法，此方法在FileOutputFormat类中为protected修饰，不能直接调用
	private static class MyOut extends TextOutputFormat{
		
		  protected static void setOutputName(JobContext job, String name) {
			    job.getConfiguration().set(BASE_OUTPUT_NAME, name);
			  }
	}

上述方法仅能简单的替代文件名part，要想全部自定义文件名，需要重写RecordWriter

/**
 * 自定义MyFileOutputFormat继承FileOutputFormat，实现其中的getRecordWriter方法；
 * 该方法返回一个RecordWriter对象，需先创建此对象，实现其中的write、close方法；
 * 文件通过FileSystem在write方法中写出到hdfs自定义文件中
 */
public class MyFileOutputFormat extends FileOutputFormat<Text, Text> {

	@Override
	public RecordWriter<Text, Text> getRecordWriter(TaskAttemptContext job)
			throws IOException, InterruptedException {
		
		FileSystem fs = FileSystem.newInstance(job.getConfiguration());
		
		//自定义输出路径及文件名，把数学成绩和英语成绩分别输出到不同的文件中
		final FSDataOutputStream math = fs.create(new Path("/score/math.txt"));
		final FSDataOutputStream english = fs.create(new Path("/score/english.txt"));

		RecordWriter<Text, Text> recordWriter = new RecordWriter<Text, Text>() {

			@Override
			public void write(Text key, Text value) throws IOException,
					InterruptedException {
				if(key.toString().contains("math")){
					math.writeUTF(key.toString());
				}
				if(key.toString().contains("english")){
					english.writeUTF(key.toString());
				}
				
			}
			
			@Override
			public void close(TaskAttemptContext context) throws IOException,
					InterruptedException {
				if (math!=null) {
					math.close();
				}
				if (english!=null) {
					english.close();
				}
							}
		};
		
		return recordWriter;
	}

}