hdfs元数据保存

Java_Soldier

于 2017-09-16 13:05:08 发布

阅读量1.1w

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签：合并 namenode hadoop hdfs

本文链接：https://blog.youkuaiyun.com/Java_Soldier/article/details/78002829

9 篇文章

订阅专栏

本文介绍了HDFS中NameNode如何保存元数据的过程，包括内存中的元数据、磁盘上的fsimage文件及edits文件的作用。同时详细描述了Secondary NameNode进行checkpoint的操作步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

====namenode如何保存元数据

1.nn对元数据的管理分为三部分，内存中完整的元数据，磁盘中接近完整的元数据镜像文件（fsimage），记录元数据操作信息的edits文件

2.snn通过配置，定时请求nn，进行checkpoint

3.nn接受到checkpoint请求，会立即滚动正在写的edits文件

4.snn从nn上下载fsimage和edits文件到snn磁盘上

5.snn将fsimage和edits文件加载到内存中，由于edits记录了操作日志，根据记录一条条的将fsimage合并成最新的元数据，并命名为fsimage.checkpoint

6.snn将新的文件上传到nn中，nn删除原有的元数据文件，并将新的元数据文件改名，存在磁盘中