hdfs 元数据目录说明

最新推荐文章于 2023-07-28 08:38:16 发布

酱g

最新推荐文章于 2023-07-28 08:38:16 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hdfs元数据 hdfs元数据管理 hdfs元数据结构

本文链接：https://blog.youkuaiyun.com/qq_33283716/article/details/81065823

本文介绍了Hadoop HDFS集群中NameNode的元数据目录结构，包括namespaceID、storageType、cTime、layoutVersion、clusterID和blockpoolID等关键信息。详细解析了这些文件的作用，如seen_txid用于确定edits文件加载范围，fsimage和edits文件存储元数据。同时强调了正确管理和格式化NameNode以确保集群稳定运行的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在第一次部署好Hadoop集群的时候，我们需要在NameNode（NN）节点上格式化磁盘：

$HADOOP_HOME/bin/hdfs namenode -format

格式化完成之后，将会在$dfs.namenode.name.dir/current目录下如下的文件结构

current/
|-- VERSION
|-- edits_*
|-- fsimage_0000000000008547077
|-- fsimage_0000000000008547077.md5
`-- seen_txid

其中的dfs.name.dir是在hdfs-site.xml文件中配置的，默认值如下：

<property>
  <name>dfs.name.dir</name>
  <value>file://${hadoop.tmp.dir}/dfs/name</value>
</property>

hadoop.tmp.dir是在core-site.xml中配置的，默认值如下
<property>
  <name>hadoop.tmp.dir</name>
  <value>/tmp/hadoop-${user.name}</value>
  <description>A base for other temporary directories.</description>
</prop