大数据实验实验五：MapReduce 初级编程实践

原创

已于 2023-11-28 10:44:26 修改 · 4.4k 阅读

57 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #mapreduce

于 2023-11-27 09:21:48 首次发布

本文详细介绍了在Hadoop环境下，使用MapReduce编程技术实现文件合并、去重操作以及对输入文件的排序，包括Java代码示例和问题解决过程。

大数据实验实验五：MapReduce 初级编程实践

实验环境

操作系统 centos7
Hadoop版本:3,3,0

实验内容与完成情况

（一）编程实现文件合并和去重操作

对于两个输入文件，即文件 A 和文件 B，请编写 MapReduce 程序，对两个文件进行合并，
并剔除其中重复的内容，得到一个新的输出文件 C。下面是输入文件和输出文件的一个样例供参考。

输入文件 A 的样例如下：
20170101 x
20170102 y
20170103 x
20170104 y
20170105 z
20170106 x

输入文件 B 的样例如下：
20170101 y
20170102 y
20170103 x
20170104 z
20170105 y

根据输入文件 A 和 B 合并得到的输出文件 C 的样例如下：
20170101 x
20170101 y
20170102 y
20170103 x
20170104 y
20170104 z
20170105 y
20170105 z
20170106 x

创建文件A.txt和B.txt
在这里插入图片描述
将两个文件上传到HDFS中

在这里插入图片描述
Java程序

package Main;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class main {
   
   
    //重载map函数，直接将输入中的value复制到输出数据的key上
    public static class Map extends Mapper<Object, Text, Text, Text> {
   
   
        private static Text text = new Text();

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
   
   
            text = value;
            context.write(text, new Text(""));
        }
    }

    //重载reduce函数，直接将输入中的key复制到输出数据的key上
    public static class Reduce extends Reducer<Text, Text, Text, Text> {
   
   
        public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
   
   
            context.write(key, new Text(""));
        }
    }

    public static void main(String[] args) throws Exception {
   
   

        Configuration conf = new Configuration();
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        conf.set("fs.defaultFS", "hdfs://localhost:8020");
        String[] otherArgs = new String[]{
   
   "/input/test", "/output/test"};
        if (otherArgs.length != 2) {
   
   
            System.err.println("Usage: wordcount <in><out>");
            System.exit(2);
        }
        Job job = Job.getInstance(conf, "Merge and duplicate removal");
        job.setJarByClass(main.class);
        job.setMapperClass(Map.class);
        job.