第123讲:Hadoop集群管理之Namenode目录元数据结构详解学习笔记

本文详细介绍了Hadoop集群管理中Namenode的目录元数据结构,包括fsimage和VERSION文件的作用,如namespaceID、clusterID等关键信息。此外,还提到了hadoop-2.x与hadoop-1.x的区别,以及如何配置dfs.namenode.name.dir以确保数据安全。这是基于王家林老师DT大数据课程第121讲的学习笔记。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

123讲:Hadoop集群管理之Namenode目录元数据结构详解学习笔记

hadoop-2.x的集群管理与hadoop-1.x有很大不同

hdfs-site.xml

dfs.replication

dfs.namenode.name.dir  存放namenode元数据信息

可以配置多个目录,这些目录完全相同,一个损坏不影响hdfs上的数据。

hadoop-2.6.0/dfs/name/current就是存放namenode元数据信息的地方

fsimage是镜像文件,包含了namenode所有的元数据信息。

VERSION中有namespaceID/clusterID/cTime/storagetype/bolckpoolID/layoutVersion

namespaceID是文件系统的唯一标识符,格式化文件系统后就会生成这个ID

clusterID是系统生成的集群的ID;

cTimenamenode存储系统创建是时间,第一次格式化系统就是0,再次格式化时就会更新;

toragetype说明文件存储的是什么系统存储的信息,可能是namenode/datanode

bolckpoolID是针对每一个

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值