hadoop的SecondaryNameNode

最新推荐文章于 2024-02-04 17:04:20 发布

转载最新推荐文章于 2024-02-04 17:04:20 发布 · 850 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/qq_44065303/article/details/102924827

hadoop 专栏收录该内容

6 篇文章

订阅专栏

SecondaryNameNode是Hadoop HDFS中的一个重要组件，主要负责协助NameNode管理元数据，提高集群的可用性。它从NameNode下载fsimage和editlog，合并生成新的fsimage，并推送给NameNode，以减小edits日志大小，加快重启速度并备份元数据。在执行过程中，SecondaryNameNode确保了在NameNode宕机时可以通过旧的fsimage和editslog恢复数据。

大部分内容转自：https://blog.youkuaiyun.com/qq_44065303/article/details/102924827

背景：辅助NameNode管理元数据，从可用性的角度出发，不会跟nameNode部署在同一服务器
执行过程：从NameNode上下载元数据信息（fsimage,edits），然后把二者合并，生成新的fsimage，在本地保存，并将其推送到NameNode，替换旧的fsimage.
作用：

1.减小edits日志大小，加快集群二次启动速度

2.备份FSimage和edits，防止数据丢失

具体的执行过程

1、 namenode通知secondaryNameNode进行合并操作

2、secondaryNameNode收到namenode的请求后(通过http方式)下载namenode中的FSImage和editlog到secondaryNameNode节点的机器中；

3、namenode收到secondaryNameNode的下载请求，会再创建一个新的edits log ，此时客户端的操作日志都会写入这个新的edits log中，然后把旧的edits log和原本的fsimage给secondaryNameNode；

4、secondaryNameNode收到edits log与fsimage后，将fsimage载入内存，会按照edits log里边记录的日志操作，一步一步执行里边的操作，把数据更新到fsimage文件中，等edits log里的所有操作都执行完了，此时的fsimage文件已经是最新的了，然后把新的fsimage返回给namenode；

在secondaryNameNode处理过程中，如果客户端进行了增删改操作，这些新的操作就会写入第3步中创建的新的edits log 中，不会修改已经被传到secondaryNameNode的旧的edits log。（这样可以保证在这个时候namenode宕机可以通过旧的fsimage+旧的editslog+新的edits log恢复元数据。