Hadoop namenode启动过程详细剖析及瓶颈分析

NameNode中几个关键的数据结构

FSImage

Namenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中，每次保存fsimage之后到下次保存之间的所有hdfs操作，将会记录在editlog文件中，当editlog达到一定的大小（bytes，由fs.checkpoint.size参数定义）或从上次保存过后一定时间段过后（sec，由fs.checkpoint.period参数定义），namenode会重新将内存中对整个HDFS的目录树和文件元数据刷到fsimage文件中。Namenode就是通过这种方式来保证HDFS中元数据信息的安全性。

Fsimage是一个二进制文件，当中记录了HDFS中所有文件和目录的元数据信息，在我的Hadoop的HDFS版中，该文件的中保存文件和目录的格式如下：

 

当namenode重启加载fsimage时，就是按照如下格式协议从文件流中加载元数据信息。从fsimag的存储格式可以看出，fsimage保存有如下信息：

1.         首先是一个image head，其中包含：

a)         imgVersion(int)：当前image的版本信息

b)        namespaceID(int)：用来确保别的HDFS instance中的datanode不会误连上当前NN。

c)         numFiles(long)：整个文件系统中包含有多少文件和目录

d)        genStamp(long)：生成该image时的时间戳信息。

2.         接下来便是对每个文件或目录的源数据信息，如果是目录，则包含以下信息：

a)         path(String)：该目录的路径，如”/user/build/build-index”

b)        replications(short)：副本数（目录虽然没有副本，但这里记录的目录副本数也为3）

c)         mtime(long)：该目录的修改时间的时间戳信息

d)        atime(long)：该目录的访问时间的时间戳信息

e)         blocksize(long)：目录的blocksize都为0

f)         numBlocks(int)：实际有多少个文件块，目录的该值都为-1，表示该item为目录

g)        nsQuota(long)：namespace Quota值，若没加Quota限制则为-1

h)        dsQuota(long)：disk Quota值，若没加限制则也为-1

i)          username(String)：该目录的所属用户名

j)          group(String)：该目录的所属组

k)        permission(short)：该目录的permission信息，如644等，有一个short来记录。

3.         若从fsimage中读到的item是一个文件，则还会额外包含如下信息：

a)         blockid(long)：属于该文件的block的blockid，

b)  &nb