Hadoop-Block的相关分析

1.1  Block

Block是HDFS中的最基本单位是对数据块的抽象，它通过一个final long(blkid)来进行标识。一个Block拥有三个longs，它们分别是block-id 、block length和generation stamp。Block名的格式是”blk”+blkid。通过set和get等方法能够得到关于Block的id、name、len等信息。

static final long GRANDFATHER_GENERATION_STAMP = 0; 产生一个块的标记来预先说明要产生的STAMP。

GenerationStamp也是HDFS的一个基本元素，也是通过一个long来进行标识的。GenerationStamp作用的猜想：当两个块进行比较的时候，当它们的hashcode相同时，便用GenerationStamp进行比较。当然blkid是不可变的，而当Block的数据增长或者减少的时候，其GenerationStamp就会发生变化(加1？？)。

一个Block对应着两个文件，其中一个存数据，一个存放元数据信息。它的元数据信息文件的格式如下：”blk_”+blkid+”_”+version.meta

和Block相关的类如下所示：

1.2          BlockCommand

此类定义了一个对DataNode下的Block操作的一个指令集，它的主要作用是告诉DataNode所指定的一系列块是不可用的或者把这这些块复制到别的DataNode上去。

1.3          BlockListAsLongs

这个类提供了一个接口用来通过long[]来访问块的列表。

1.4          BlockMetadataHeader

此类用来管理DataNode数据块的元数据。一个Block的元数据的最主要部分就是它的CRC数据效验它占了5个字节。而它的版本号占了两个字节。

1.5          BlockMetaDataInfo

这个类是Block的一个子类，保存了一个块的元数据信息。

1.6          BlocksMap

这个类保存了从一个块到它的元数据的映射，一个块的元数据通常包括它的INode和保存这个块的DataNode。

BlockInfo是BlocksMap中的一个内部类，它继承了Block，所以完全就可以把BlockInfo看作成一个Block。BlockInfo类中有一个triplets数组，其中triplets[3*i]指向了它的DatanodeDescriptor，而triplets[3*i+1]和triplets[3*i+2]分别是前一个和后一个块的引用。

this.triplets = new Object[3*replication]; //其中的replication一般由INode中的getReplication()方法得到，replication是这个Block的复制因子。

从源代码private int ensureCapacity(int num)可以看出triplets的大小是可以改变的，同时从这段方法的注释中可以看到，triplets的空间的增加仅仅发生在用户手动的调整复制因子时发生。

对于triplets中的引用指向问题如添加、删除等等，基本上和双向链表的操作方法是相同的。当然添加和删除操作的triplets的DatanodeDescriptor都是一个同一个Datanode。

BlockMap的另外一个内部类是NodeIterator，它实现了Blockinfo的一个遍历器。不支持remove。

问题1：这些Block为什么要使用一种链式结构，它有什么意义呢？？

    问题的解答，当NameNode向Datanode发出一个report时，它会产生一个分隔符，把有效的块和无效的块标记起来

   一个DataNode上的Block链式结构如下所示：

  

1.7          BlocksWithLocations

这个类主要实现了一个BlockLocations的数组，它提供了有效的定制化的序列化和反序列化的方法，代替了由RPC提供的数组序列化方式。其中的getDatanodes()方法的返回值为datanodeIDs，这就能表明这个Block所在的Datanode的位置。