13. MapReduce自定义OutputFormat

一. OutputFormat简介

OutputFormat是MapReduce输出的基类，所有MapReduce输出都实现了OutputFormat接口，它接收ReduceTask产生的数据，然后将结果按照指定格式输出。

在MapReduce中，如果不指定，默认使用的是TextOutputFormat。但是在一些特定的场景下，默认的TextOutputFormat不一定能满足我们的需求，因此可以自定义OutputFormat来实现个性化需求。

二. 需求

使用MapReduce对输入文件中的单词进行计数，单词"hello"的计数结果输出到hello.log中，非"hello"的单词的计数结果输出到non-hello.log。

要实现上面的输出需求，就需要自定义OutputFormat。

自定义OutputFormat的步骤：

1. 自定义一个类继承FileOutputFormat。
2. 自定义一个类继承RecordWriter，重写方法write()和close()。

代码实现

package mr;

import org.apache.commons.io.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;


class MultiOuputFormat extends FileOutputFormat<Text, IntWritable> {
   
   

    @Override
    public RecordWriter<Text, IntWritable> getRecordWriter(TaskAttemptContext job) throws IOException,