Hadoop-2.4.1学习之创建fsimage和edits源码分析

最新推荐文章于 2022-02-14 23:00:31 发布

skyWalker_ONLY

最新推荐文章于 2022-02-14 23:00:31 发布

阅读量3.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hadoop-2.x Hadoop 文章标签： Hadoop-2.4.1 源代码 fsimage edits format

本文链接：https://blog.youkuaiyun.com/skywalker_only/article/details/39523313

Hadoop 同时被 2 个专栏收录

49 篇文章 ¥9.90 ¥99.00

订阅专栏

Hadoop-2.x

29 篇文章 ¥9.90 ¥99.00

订阅专栏

本文详细分析了Hadoop-2.4.1中创建fsimage和edits文件的源代码，涉及FSImage、FSNamesystem和FSEditLog类。在NameNode的format方法中，通过NNStorage初始化存储目录，FSImage构造方法创建FSEditLog对象。FSEditLog的initJournalsForWrite()方法负责日志状态管理，而saveFSImageInAllDirs()方法则用于创建fsimage文件。在format过程中，只生成了fsimage文件，未生成edits文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在Hadoop中fsimage保存最新的检查点信息，edits保存自最新检查点后的命名空间的变化。在分析hdfs namenode–format的源代码时，已经明确了该过程根据配置文件的信息创建fsimage和edits文件，这篇文章具体分析一下创建fsimage和edits文件的源代码。在NameNode的format方法中，有如下的代码：

FSImage fsImage = new FSImage(conf, nameDirsToFormat, editDirsToFormat);
    try {
      FSNamesystem fsn = new FSNamesystem(conf, fsImage);
      fsImage.getEditLog().initJournalsForWrite();

      if (!fsImage.confirmFormat(force, isInteractive)) {
        return true; // aborted
      }

      fsImage.format(fsn, clusterId);
    } catch (IOException ioe) {
      LOG.warn("Encountered exception during format: ", ioe);
      fsImage.close();
      throw ioe;
    }

在这段代码中主要涉及到了三个类，分别为FSImage、

了解本专栏