正确理解hadoop 2.x 的环形缓冲区: (一) MR环形缓冲区的结构

最新推荐文章于 2025-06-06 11:09:43 发布

大数据交流官方群

最新推荐文章于 2025-06-06 11:09:43 发布

阅读量1.3w

点赞数 6

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop mapreduce 源码 shuffle

本文链接：https://blog.youkuaiyun.com/HADOOP_83425744/article/details/49560583

本文介绍了Hadoop MapReduce的Shuffle过程中环形缓冲区的重要作用，详细阐述了环形缓冲区的初始化、结构以及数据写入过程。通过分析MapOutputBuffer的初始化，展示了如何创建100M大小的byte数组，并用于存储元数据和数据。环形缓冲区的结构以赤道为起点，元数据信息存储在数组末尾。当缓冲区达到80%满时，将触发溢写操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一.什么是hadoop 环形缓冲区:
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。从这周开始,开始学习shuffle的整个过程,今天带来的是hadoop环形缓冲区的理解

二.初始化mr环形缓冲区(maptask.MapOutputBuffer):
hadoopd的环形缓冲区其实只是一个简单的buffer(),下面我们来看一下MapOutputBuffer的init方法:

      private IntBuffer kvmeta; // 存储元数据信息 **注意这是一个intbuffer 存储int  至于元数据为什么都是int,下面会有答案**
     byte[] kvbuffer;        //环形缓冲区的数组

     final int sortmb = job.getInt(JobContext.IO_SORT_MB, 100);//首先通过配置文件得到了环形缓冲区的大小,默认情况下是100M
    ....................
  int maxMemUsage = sortmb << 20; //通过位运算把100m转化成对应的字节
  kvbuffer = new byte[maxMemUsage]; //创建一个buffer
  bufvoid = kvbuffer.length;
  kvmeta = ByteBuffer.wrap(kvbuffer)   //通过伪装得到一个元数据数组 
     .order(ByteOrder.nativeOrder())      //这个数组是int  所以总大小/4
     .asIntBuffer();                                     //100M位例值为26214400
  setEquator(0);                         //设置初始的赤道的位置为0(稍后解释赤道)
  bufstart = bufend = bufindex = equator;  //初始化buffer参数
  kvstart = kvend = kvinde