【Hadoop】MapReduce 原理及编程

最新推荐文章于 2025-01-10 18:14:51 发布

beautiful_huang

最新推荐文章于 2025-01-10 18:14:51 发布

阅读量289

点赞数 3

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： hadoop mapreduce

本文链接：https://blog.youkuaiyun.com/beautiful_huang/article/details/103466889

Hadoop 专栏收录该内容

27 篇文章

订阅专栏

本文深入解析MapReduce的工作原理，包括其编程模型、优势与局限性。详细介绍了MapReduce的执行流程，从输入文件的分片处理，到map、shuffle、reduce阶段的数据处理与优化策略。同时，提供了MapReduce编程实例，展示如何实现单词计数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MapReduce 优点：

易于编程
可扩展性
高容错性
高吞吐量

MapReduce 缺点：

难以实时计算
不适合流式计算

在MapReduce整个过程可以概括为以下过程：

输入 --> map --> shuffle --> reduce -->输出

在这里插入图片描述
流程简介：
通过map task读文件，使用TextInputFormat（）方法一次读入整行文件，输入文件会被切分成多个块，每一块都有一个map task

补充面试问题：

	 * block块大小的设置:
     * HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。
     *
     * 为什么是128MB:
     * block块的大小主要取决于磁盘传输速率.
     * 一般hdfs的寻址时间为10ms左右.
     * 当寻址时间为传输时间的1%时为最佳状态,因此传输时间大概在1s左右.
     * 机械硬盘文件顺序读写的速度为100MB/s,普通固态为500MB/s,pcie固态的速度可以达到2000MB/s,因此块的大小可以分别设为128MB,512MB,2048MB.
     *
     * block块的大小主要取决于磁盘传输速率.
     *
     *
     * 先将所有的块读出来 判断能否按照计算机生成的块分割（存在部分块的尾端文件没读完就结束） 通过InputSplit的指针 在最后的位置判断有没有读完
     * 生成逻辑代码块（可能少于或者大于等于128M）

	/**
	 * extends MyMapper<>
     *     参数：
     *          LongWritable 第几行的行号
     *          Text 每一行读出的数据 因为 string不能改变大小 拼接序列化比较麻烦（比如拼接int） 所以新写入的一个类，底层是StringBuffer
     *          Text 最后输出的每一个 key
     *          IntWritable 输出的每一个key的个数
     * /
public class WCMapper extends Mapper<LongWritable,Text,Text, IntWritable> {
	private Text out = new Text();
    // 每个单词都传输个数为1
    private IntWritable one = new IntWritable(1);

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        /**
         * 对参数的几个数据的处理与返回方法
         *      value 拿到的每一行的数据 先转成string进行分割
         */

        String[] splits = value.toString().split(" ");
        for (String word : splits) {
            // 将分割好的 每个string 再转成 text
            out.set(word);
            // 存储 每一个 key 和 个数
            context.write(out,one);
        }
    }
}

OutPutCollector 将收集到的（k，v）写入到环形缓冲区，然后由缓冲区写到磁盘上。默认的缓冲区大小是100M，溢出的百分比是0.8，也就是说当缓冲区中达到80M的时候就会往磁盘上写。如果map计算完成后的中间结果没有达到80M，最终也是要写到磁盘上的，因为它最终还是要形成文件。

在spill溢出前，会对数据进行分区和排序，即在缓冲区对每个（k，v）键值对hash一个partition值，值相同则在同一个区，同一分区根据key来排序。不同分区在缓冲区根据partition和key值进行排序。

多个溢出的文件再通过merge合并，采用归并排序，合并成一个大的分区且区内有序的溢出文件

reduce task 根据自己的分区号，到各自的map task节点拷贝相同的partition的数据到reduce task磁盘工作目录，再通过merge归并排序成一个有序的大文件

public class WCReduce extends Reducer<Text, IntWritable,Text,IntWritable> {
    /**
     * 参数：
     *     Text ：传输过来的key
     *     IntWritable : 传输过来的个数
     *     Text : 统计的每一个key
     *     IntWritable : 统计好的个数
     */

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        /**
         * Iterable<IntWritable> values 可以理解成按key分好组的数组
         */

        int sum = 0;
        for (IntWritable num : values) {
            sum+=num.get();
        }
        context.write(key,new IntWritable(sum));
    }
}

测试：

public class Mydemo {
    public static void main(String[] args) throws Exception {
       
        Job job = Job.getInstance(new Configuration());
        // jar 包的入口
        job.setJarByClass(Mydemo.class);
        // jar 包的名字
        job.setJobName("wc");

        // 读取文件并用inputSpilt的getSplit方法对文件进行分割生成逻辑区 根据逻辑区的大小开启对应数量的Map Task
        FileInputFormat.addInputPath(job,new Path("hdfs://192.168.56.122:9000/data/data.txt"));
        // 结果写入的文件夹路径 这个文件夹要没有的自动生成
        FileOutputFormat.setOutputPath(job,new Path("hdfs://192.168.56.122:9000/my1"));

        //设置对应的Mapper类
        job.setMapperClass(WCMapper.class);
        //设置Mapper类的输出的key和value类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //设置对应的 Reduce类
        job.setReducerClass(WCReduce.class);
        //设置对应的Reduce的输出key和value的类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //启动job任务
        job.waitForCompletion(true);
    }
}