hdfs NameNode和SecondaryNameNode工作机制、FsImage和Edits解析、集群安全模式

---

1. NameNode和SecondaryNameNode工作机制

1.1 NameNode元数据存储

  元数据需要存放在内存中进行随机访问，并处理客户请求。但为了防止断电，元数据丢失，因此产生在磁盘中备份元数据的FsImage(NameNode内存中元数据序列化后形成的文件)。
  内存中的元数据更新，为保证磁盘和内存元数据的一致性和同步的效率，引入Edits(记录客户端更新元数据信息的每一步操作)文件进行追加操作，即当元数据有更新或者添加时，修改内存中的元数据并追加到Edits中。一旦NameNode节点故障，可以通过FsImage和Edits的合并，合成元数据。
  如果长时间追加Edits，文件数据过大，会造成效率降低且一旦断电元数据恢复耗时过长。因此，需要定期进行FsImage和Edits合并，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits合并。

1.2 工作流程

1.2.1 NameNode启动

（1）第一次启动NameNode格式化后，创建FsImage和Edits文件。如果不是第一次启动，生成一个空的edits.inprogress,直接加载FsImage和Edits到内存
（2）客户端对元数据进行增删改的请求
（3）NameNode记录操作日志，更新滚动日志
（4）NameNode在内存中对元数据进行增删改

1.2.2 Secondary NameNode工作流程

（1）Secondary NameNode询问NameNode是否需要进行CheckPoint（每分钟询问一次，若操作数超过1百万则进行合并；每小时合并一次）
（2）Secondary NameNode请求执行CheckPoint
（3）NameNode滚动正在写的Edits日志,生成一个空的edits.inprogress,新的操作写入edits.inprogress
（4）将滚动前的FsImage和Edits拷贝到Secondary NameNode
（5）Secondary NameNode加载FsImage和Edits到内存，并合并
（6）生成新的镜像文件fsimage.chkpoint
（7）拷贝fsimage.chkpoint到NameNode
（8）NameNode将fsimage.chkpoint重新命名成fsimage

1.3 SecondaryNameNode触发CheckPoint配置

hdfs-site.xml配置文件中：

<