搭建HDFS集群的错误一:格式化namenode后,格式化失败,日志报错:ERROR namenode.FSnamesystem: initialzation failed

在初次搭建HDFS集群过程中,遇到namenode格式化失败的问题,日志显示initialization failed。经排查,错误源于hdfs-site.xml配置文件中的hdfs://ns1应改为ns1。修正配置后,namenode成功格式化。然而,多次格式化可能导致datanode启动失败,因为namenode和datanode的clusterID不一致。解决方法是手动同步这两个目录下的VERSION文件中的clusterID,确保一致,然后datanode即可正常启动。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

第一次搭建HDFS集群时格式化namenode之后,查看日志发现格式化失败,报错:ERROR namenode.FSnamesystem: initialzation failed
背景:公司服务器第一次搭集群,之前这些机器上没有搭过。
在安装HDFS的时候,在master机器上初始化namenode,之后查看日志,发现初始化失败,报错信息:在这里插入图片描述
各种百度,查找问题,各种方法基本上都尝试了,没能找到一个有效的解决办法。后来请教身边大神,发现还是配置文件的问题,解决如下:
把hdfs-site.xml 配置文件中的hdfs://ns1 改为 ns1 (把hdfs:// 删掉)
在这里插入图片描述
修改后配置文件:
在这里插入图片描述
重新格式化namenode,查看日志,格式化成功!

注意:如果尝试过多次格式化namenode,当启动datanode是可能会出现问题,datanode可能起不来,
原因是:每次进行namenode格式化都会清空namenode文件存放目录下的文件并产生一个新的clusterID,但不会清空datanode文件存放目录下的文件,也就是datanode文件存放目录下保存的clusterID还是之前的clusterID,这导致namenode下的clusterID和datanode下的clusterID不一致,无法建立起通信,所以datanode都起不来

解决:
分别找到namenode和datanode 的 current目录下的VERSION文件, 一般是

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值