Hadoop的MapFile, SetFile, ArrayFile 及 BloomMapFile文件格式<转>

SequenceFile 是Hadoop 的一个基础数据文件格式，后续讲的 MapFile, SetFile, ArrayFile 及 BloomMapFile 都是基于它来实现的。

• MapFile – 一个key-value 对应的查找数据结构，由数据文件/data 和索引文件 /index 组成，数据文件中包含所有需要存储的key-value对，按key的顺序排列。索引文件包含一部分key值，用以指向数据文件的关键位置。
• SetFile – 基于 MapFile 实现的，他只有key，value为不可变的数据。
• ArrayFile – 也是基于 MapFile 实现，他就像我们使用的数组一样，key值为序列化的数字。
• BloomMapFile – 他在 MapFile 的基础上增加了一个 /bloom 文件，包含的是二进制的过滤表，在每一次写操作完成时，会更新这个过滤表
• 
  

7.值得提一下binary stream with zero-compressed encoding

  /**  
   * Serializes a long to a binary stream with zero-compressed encoding.  
   * For -112 <= i <= 127, only one byte is used with the actual value.  
   * For other values of i, the first byte value indicates whether the  
   * long is positive or negative, and the number of bytes that follow.  
   * If the first byte value v is between -113 and -120, the following long  
   * is positive, with number of bytes that follow are -(v+112).  
   * If the first byte value v is between -121 and -128, the following long  
   * is negative, with number of bytes that follow are -(v+120). Bytes are  
   * stored in the high-non-zero-byte-first order.  
   *   
   * @param stream Binary output stream  
   * @param i Long to be serialized  
   * @throws java.io.IOException   
   */  
  /*   
   * 将一个long类型的i，写入输出流DataOutput中  
   * 如果 -112 <= i <= 127，只使用一个byte表示i并写入输出流中  
   * 第一个字节表示i的正负和接下来表示i的字节数  
   * 如果第一个字节-113 <= v <= -120，那么i是正数，并且接下来i占的字节数是-(v+112)（也就是1到8个字节之间）  
   * 如果第一个字节-121 <= v <= -128，那么i是负数，并且接下来的i占的字节数是-(v+120)（也就是1到8个字节之间）  
   * 写入时先写i的高位，再写低位  
   *   
   */  
  public static void writeVLong(DataOutput stream, long i) throws IOException {   
    if (i >= -112 && i <= 127) {   
      stream.writeByte((byte)i);   
      return;   
    }   
         
    int len = -112;   
    if (i < 0) {   
      i ^= -1L; // take one's complement'   
      len = -120;   
    }   
         
    long tmp = i;   
    while (tmp != 0) {   
      tmp = tmp >> 8;   
      len--;   
    }   
         
    stream.writeByte((byte)len);   
         
    len = (len < -120) ? -(len + 120) : -(len + 112);   
         
    for (int idx = len; idx != 0; idx--) {   
      int shiftbits = (idx - 1) * 8;   
      long mask = 0xFFL << shiftbits;   
      stream.writeByte((byte)((i & mask) >> shiftbits));   
    }   
  }

这种编码方式的有点是照顾了绝大多数能够使用一个byte编码的数字，最大的缺点是，两个byte所能编码的数字少了很多，并且两个byte以上长度的编码效率都下降了。