多种输入的MapReduce程序实例

最新推荐文章于 2024-09-21 03:30:50 发布

strongyoung88

最新推荐文章于 2024-09-21 03:30:50 发布

阅读量497

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop Java 文章标签： mapreduce

本文链接：https://blog.youkuaiyun.com/strongyoung88/article/details/49962685

Java 同时被 2 个专栏收录

36 篇文章

订阅专栏

Hadoop

26 篇文章

订阅专栏

本文介绍了一种使用Hadoop的MultipleInputs功能整合不同格式数据集的方法，并提供了具体示例代码，展示了如何处理两个分别包含学校简称及全称的文件，最终输出格式化的学校名称数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据集

一共有两个文件需要处理，一个为file1，一个为file2。如下。

/test/file1，文件内容如下。每行数据以制表符分开
cqnu 重庆师范大学
cqu 重庆大学

/test/file2，文件内容如下。每行数据以，分开。
thu,清华大学
pku,北京大学
nju,南京大学

任务

把两个文件的内容整合成如下格式
学校简称:cqnu 学校全称:重庆师范大学
学校简称:cqu 学校全称:重庆大学
学校简称:nju 学校全称:南京大学
学校简称:pku 学校全称:北京大学
学校简称:thu 学校全称:清华大学

解决方法

采用MultipleInputs来处理，详见API文档
MultipleInputs

示例代码

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.KeyValueTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.MultipleInputs;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class TestJoin {

    //file1的Mapper
    public static class TestJoinMapperByKeyValue extends Mapper<Text, Text, Text, Text>{

        public void map(Text key, Text value, Context context) throws IOException, InterruptedException{
            context.write(key, value);
        }
    }
    //file2的Mapper 
    public static class TestJoinMapperByText extends Mapper<LongWritable, Text, Text, Text>{

        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException{
            String []str = value.toString().split(",");
            context.write(new Text(str[0]),new Text( str[1]));
        }
    }

    public static class TestJoinReducer extends Reducer<Text, Text, Text, Text>{

        public void reduce(Text key, Iterable<Text> value, Context context) throws IOException, InterruptedException{
            for(Text v : value){
                Text k = new Text();
                k.set("学校简称:" + key.toString());
                Text val = new Text();
                val.set("学校全称:" + v.toString());
                context.write(k, val);
            }
        }
    }
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        if(args.length < 2){
            System.out.println("args must be three");return ;
        }
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf,"TestJoin");
        job.setJarByClass(TestJoin.class);


        job.setReducerClass(TestJoinReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        //多种输入
        //不同的输入文件采用不同的Mapper处理
        MultipleInputs.addInputPath(job, new Path(args[0]), KeyValueTextInputFormat.class, TestJoinMapperByKeyValue.class);
        MultipleInputs.addInputPath(job, new Path(args[1]), TextInputFormat.class, TestJoinMapperByText.class);

        FileOutputFormat.setOutputPath(job, new Path(args[2]));
        System.exit(job.waitForCompletion(true)?0:1);
    }

}