【Hadoop】26-MapReduce的输出格式

最新推荐文章于 2023-09-12 11:21:11 发布

一直不懂

最新推荐文章于 2023-09-12 11:21:11 发布

阅读量1.9k

点赞数

分类专栏： Hadoop权威指南

Hadoop权威指南专栏收录该内容

51 篇文章

订阅专栏

针对前一节介绍的输人格式，Hadoop都有相应的输出格式。OutputFormat类的层次结构如图所示。

1文本输出

默认的输出格式是TextOutputFormat，它把每条记录写为文本行。它的键和值可以是任意类型，因为Text0utputFormat调用toString()方法把它们转换为字符串。每个键·值对由制表符进行分隔，当然也可以设定mapreduce.output.textoutputformat.separator属性改变默认的分隔符。与TextOutputFormat对应的输人格式是KeyValueTextInputFormat，它通过可配置的分隔符将键．值对文本行分隔，详情参见822节。
可以使用NullWritable来省略输出的键或值（或两者都省略，相当于NullOutputFormat输出格式，后者什么也不输出)。这也会导致无分隔符输出，以使输出适合用TextInputFormat读取。

2二进制输出

2.1关于SequenceFiIeOutputFormat
正如名称所示，SequenceFileOutputFormat将它的输出写为一个顺序文件。如果输出需要作为后续MapReduce任务的输人，这便是一种好的输出格式，因为他的格式紧凑很容易被压缩。压缩由SequenceFileOutputFormat的静态方法来实现，详情参见5.2.3节。9．2节用一个例子展示了如何使用SequenceFileoutputFormat。
2.2关于SequenceFileAsBinaryOuputFormat
SequenceFileAsBinaryOuputFormat与SequenceFileAsBinaryInputFormat相对应，它以原始的二进制格式把键·值对写到一个顺序文件容器中。
2.3关于MapFiIeOutputFormat
MapFileOutputFormat把map文件作为输出。MapFile中的键之须顺序添加，所以必须确保reducer输出的键已经排好序。

reduce输人的键一定是有序的，但输出的键由reduce函数控制，MapReduce框架中没有硬性规定reduce输出键必须是有序的。所以reduce输出的键必须有序是对MapFileOutputFormat的一个额外限制。

3多个输出

FileOutputFormat及其子类产生的文件放在输出目录下。每个reducer一个文件并且文件由分区号命名：part-r-00000，part-r-00001等等。有时可能需要对输出MapReduce的类型与格式的文件名进行控制或让每个reducer输出多个文件。MapReduce为此提供了MuItipIeOutputFormat类。
3.1．范例：数据分割
考虑这样一个需求；按气象站来区分气象数据。这需要运行一个作业，作业的输出是每个气象站一个文件，此文件包含该气象站的所有数据记录。
一种方法是每个气象站对应一个reducer。为此，我们必须做两件事。第一，写一个partitioner，把同一个气象站的数据放到同一个分区。第二，把作业的reducer数设为气象站的个数。partitioner如下：

public class StationPartitioner extends Partitioner<LongWritable,Text>{
    private NcdcRecordParser parser = new NcdcRecordParser();
    @Override
    public int getPartition(LongWritable key,Text value,int numPartitions){
        parser.parse(value);
        return getPartition(parser.getStationId());
    }
    
    private int getPartition(String stationId){
        ...
    }
}

这里没有给出getPartition(String)方法的实现，它将气象站ID转换成分区索引号。为此，它的输人是一个列出所有气象站ID的列表，然后返回列表中气象站的索引。
这样做有两个缺点。第一，需要在作业运行之前知道分区数和气象站的个数。虽然NCDC数据集提供了气象站的元数据，但无法保证数据中的气象站ID与元数据匹配。如果元数据中有某个气象站但数据中却没有该气象站的数据，就会浪费一个reduce任务。更糟糕的是，数据中有但元数据中却没有的气象站，也没有对应的reduce任务，只好将这个气象站扔掉。解决这个问题的方法是写一个作业来抽取唯一的气象站ID，但很遗憾，这需要额外的作业来实现。
第二个缺点更微妙。一般来说，让应用程序来严格限定分区数并不好，因为可能导致分区数少或分区不均。让很多reducer做少量工作不是一个高效的作业组织方法，比较好的办法是使用更少reducer做更多的事情，因为运行任务的额外开销减少了。分区不均的情况也是很难避免的。不同气象站的数据量差异很大：有些气象站是一年前刚投人使用的，而另一些气象站可能已经工作近一个世纪了。如果其中一些reduce任务运行时间远远超过另一些，那么作业执行时间将由它们来决定，从而导致作业运行时间超出预期。
在以下两种特殊情况下，让应用程序来设定分区等价于reducer的个数）是有好处的。

0个reducer这个情况很罕见：没有分区，因为应用只需执行map任务
1个reducer可以很方便地运行若干小作业，把以前作业的输出合并成单个文件。前提是数据量足够小，以便一个reducer能轻松处理

最好让集群为作业决定分区数：可用的集群资源越多，作业完成就越快。这就是默认的HashPartitioner表现如此出色的原因，因为它处理的分区数不限，并且确保每个分区都有一个很好的键组合使分区更均匀。

如果使用HashPartitioner，每个分区就会包含多个气象站，因此，要实现每个气象站输出一个文件，必须安排每个reducer写多个文件，由此就有了MultipleOutput。

3.2MultipleOutput

MultipleOutput类可以将数据写到多个文件，这些文件的名称源于输出的键和值或者任意字符串。这允许每个reducer(或者只有map作业的mapper)创建多个文件。采用name-m-nnnnn形式的文件名用于map输出，name-r-nnnnn形式的文件名用于reduce输出，其中name是由程序设定的任意名字，nnnnn是一个指明块号的整数（从00000开始)0块号保证从不同分区（mapper或reducer)写的输出在相同名字情况下不会冲突。
范例8巧显示了如何使用Mu1tip1e0utputs按照气象站划分数据。
范例8．5．用MultipleOutput类将整个数据集分区到以气象站旧命名的文件

public class PartitionByStationUsingMultipleOutputs extends Configured implements Tool{
    static class StationMapper extends Mapper<LongWritable,Text,Test,Test>{
        private NcdcRecordParser parser=new NcdcRecordParser();
        @Override
        protected void map(LongWritable key,Text value,Context context)throws IOException,InterruptedException{
            parser.parse(value);
            context.write(new Text(parser.getStationId()),value);
        }
    }
    static class MultipleOutputsReducer extends Reducer<Text,Text,NullWritable,Text>{
        private MultipleOutputs<NullWritable,Text> multipleOutputs;
        @Override
        protected void setUp(Context context)throws IOException,InterruptedException{
            multipleOutputs=new MultipleOutputs<>(context);
        }
        @Override
        public void reduce(Text key,Iterable<Text> values,Context context) throws IOException,InterruptedException{
            for(Text value:values){
                multipleOutputs.write(NullWritable.get(),value,key.toString());
            }
        }
        @Override
        protected void cleanup(Context context) throws IOException,InterruptedException{
            multipleOutputs.close();
        }
    }
    @Override
    public int run(String[] args) throws Exception{
        Job job=JobBuilder.parseInputAndOutput(this,getConf(),args);
        if(job==null){
            return -1;
        }
        job.setMapperClass(StationMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setReducerClass(MultipleOutputsReducer.class);
        job.setOutputKeyClass(NullWritable.class);
        return job.waitForCompletion(true)?0:1;
    }

    public static void main(String[] args) {
        int exitCode=ToolRunner.run(new PartitionByStationUsingMultipleOutputs(),args);
        System.exit(exitCode);
    }
}

在生成输出的reducer中，在setup()方法中构造一个Multiple0utputs的实例并将它赋给一个实例变量。在reduce()方法中使用Multiple0utputs实例来写输出，而不是context。write()方法作用于键、值和名字。这里使用气象站标识符作为名字，因此最后产生的输出名字的形式为station_identifier_r-nnnnn。
运行一次后，前面几个输出文件的命名如下：

在Multiple0utputs的write()方法中指定的基本路径相对于输出路径进行解释，因为它可以包含文件路径分隔符（/），创建任意深度的子目录是有可能的。例如，下面的改动将数据根据气象站和年份进行划分，这样每年的数据就被包含到一个名为气象站ID的目录中（例如029070-99999/1901/part-r-00000):

@Override
public void reduce(Text key,Iterable<Text> values,Reducer.Context context) throws IOException,InterruptedException{
    for(Text value:values){
        parser.parse(value);
        String basePath=String.format("%s/%s/part",parser.getStationId(),parser.getYear());
        multipleOutputs.write(NullWritable.get(),value,basePath);
    }
}

MuItipIeOutput传递给mapper的OutputFormat，该例子中为TextOutputFormat，但可能有更复杂的情况。例如，可以创建命名的输出，每个都有自己的OutputForamt、键和值的类型（这可以与mapper或reducer的输出类型不相同）。此外，mapper或reducer可以为每条处理的记录写多个输出文件。

4延迟输出

FileOutputFormat的子类会产生输出文件（part-r-nnnnn），即使文件是空的。有些应用倾向于不创建空文件，此时LazyOutputFormat就有用武之地了。它是一个封装输出格式，可以保证指定分区第一条记录输出时才真正创建文件。要使用它，用JobConf和相关的输出格式作为参数来调用set0utputFormatClass()方法即可。
Streaming支持-LazyOutput选项来启用LazyOutputFormat功能。