正确理解hadoop 2.x 的环形缓冲区: (一) MR环形缓冲区的结构

一.什么是hadoop 环形缓冲区:
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。从这周开始,开始学习shuffle的整个过程,今天带来的是hadoop环形缓冲区的理解

二.初始化mr环形缓冲区(maptask.MapOutputBuffer):
hadoopd的环形缓冲区其实只是一个简单的buffer(),下面我们来看一下MapOutputBuffer的init方法:

      private IntBuffer kvmeta; // 存储元数据信息 **注意这是一个intbuffer 存储int  至于元数据为什么都是int,下面会有答案**
     byte[] kvbuffer;        //环形缓冲区的数组

     final int sortmb = job.getInt(JobContext.IO_SORT_MB, 100);//首先通过配置文件得到了环形缓冲区的大小,默认情况下是100M
    ....................
  int maxMemUsage = sortmb << 20; //通过位运算把100m转化成对应的字节
  kvbuffer = new byte[maxMemUsage]; //创建一个buffer
  bufvoid = kvbuffer.length;
  kvmeta = ByteBuffer.wrap(kvbuffer)   //通过伪装得到一个元数据数组 
     .order(ByteOrder.nativeOrder())      //这个数组是int  所以总大小/4
     .asIntBuffer();                                     //100M位例值为26214400
  setEquator(0);                         //设置初始的赤道的位置为0(稍后解释赤道)
  bufstart = bufend = bufindex = equator;  //初始化buffer参数
  kvstart = kvend = kvinde