hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置

本文介绍Hadoop HDFS的核心配置文件及重要目录的作用,包括namenode和datanode的关键配置,同时阐述了HDFS的高可用(HA)措施,如备份、数据复制等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

点击browserFilesystem,和命令查看结果一样

当我们查看hadoop源码时,我们看到hdfs下的hdfs-default.xml文件信息


我们查找${hadoop.tmp.dir}这是引用变量,肯定在其他文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点:

就是不要修改此文件,但可以复制信息到core-site.xml和hdfs-site.xml中修改


usr/local/hadoop 是我存放hadoop文件夹的地方


几个关于namenode的重要文件


这里的in_use.lock本身没什么东西,但是它标记着这个namenode被使用,不准其他进程调用

current下存放了重要信息,尤其是fsimage,是namenode核心信息


edits用于事务处理


HA措施之一就是备份多个文件信息,可以用逗号隔开多个目录保存,注:不能在hdfs-default.xml中直接修改,而应该复制到hdfs-site下修改


dfs下的data文件决定datanode存储位置


HA措施之二:secondary用于辅助namenode,合并edits到fsimage。从secondary恢复数据可能存在部分丢失(类似windows备份点),但我认为这里的信息可能储存到了硬盘,而namenode储存的信息可能还包括内存中的信息


HA措施之三:replication,在配置文件中设置副本个数,存在不同datanode上

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值