MR自定义FileOutputFormat，进行输出自定义文件名

最新推荐文章于 2023-05-15 14:02:25 发布

fsanko

最新推荐文章于 2023-05-15 14:02:25 发布

阅读量691

点赞数

分类专栏：大数据之MapReduce Java类文章标签： MapReduce 二次排序自定义输出文件名

本文链接：https://blog.youkuaiyun.com/fsanko/article/details/96646080

版权

在MapReduce中，通过自定义FileOutputFormat和RecordWriter，可以实现输出文件名的自定义。文章详细介绍了如何结合Java 1.8.0和IntelliJ IDEA 2018.3.5进行这项操作，并给出了具体的代码示例，包括map、reduce、序列化类以及主程序的实现，最终实现了根据需求生成特定文件名的输出结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

说明：本文所涉及的JavaSE版本为1.8.0， IDEA版本为IntelliJ IDEA Community Edition 2018.3.5 x64。

需求：结合以前的MR案例(学生成绩二次排序)，自定义FileOutputFormat和RecoreWriter,对其输出采用自定义文件名。

输入数据：

代码：

map代码：

package com.gcs.SelfOutputFile;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class SecSortMap  extends Mapper<LongWritable, Text, SecSortWritable, NullWritable> {

    SecSortWritable ssw = new SecSortWritable();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String str = value.toString();
        String[] strArr = str.split(" ");
        ssw.setName(strArr[0]);
        ssw.setCourse(strArr[1]);
        ssw.setScore(Integer.parseInt(strArr[2]));
        context.write(ssw, NullWritable.get());
    }
}

Reduce代码：

package com.gcs.SelfOutputFile;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class SecSortReduce  extends Reducer<SecSortWritable, NullWritable, SecSortWritable, NullWritable> {

    @Override
    protected void reduce(SecSortWritable key, Iterable<NullWrit

最低0.47元/天解锁文章