关于我第二次遇到Hadoop启动集群子节点没有DataNode节点问题

本文介绍了在启动Hadoop集群时遇到DataNode节点未启动的问题,原因是namenode和datanode的namespaceID不一致。尝试了两种解决方法:一是修改VERSION文件中namespaceID,二是删除并重新格式化。作者建议删除/tmp/dfs目录后再进行格式化,但这种方法并不总是有效。最终,通过删除hdfs-site.xml配置中指定的dfs.name.dir和dfs.data.dir下的内容,成功解决了问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题:因为多次格式化文件系统(命令:hadoop namenode -fromat )的时候,namenode产生的新的namespacelID与datanode所持有的namespaceID不一致导致的问题。

看了很多优秀博主的回答:有下面两种方式:

首先关闭集群

①可以找到自己的/tmp/dfs这个路径下的一个VERSION文件,在子节点里面修改成和主节点一样的。

②把这个/tmp/dfs的文件和日志删掉,然后重新格式化一下namenode:hdfs namenode -format然后就没问题了

重新启动集群

我第一次遇到这个问题的时候,我就想着用第一种方式来解决,问题是接二连三,反复试了很多次,但是没有解决;就是关闭集群后修改再次启动依然没有解决问题,真的会谢

当时百度了很多解决方案,最多的就是下面这个:

1)修改每个Slave的namespaceID,使其与Master的namespaceID一致。

或者

2)修改Master的namespaceID使其与Slave的namespaceID一致。

Master的“namespaceID”位于“/usr/hadoop/tmp/dfs/name/current/VERSION”文件里面,Slave的“namespaceID”位于“/usr/hadoop/tmp/dfs/data/current/VERSION”文件里面。
 

这个就是解决方案一的办法,优快云和博客园都有博主提供这种办法;我个人感觉可能是以前的办法现在不适用或者是版本有出入,这个方法可能不太好用,总之,不推荐这个方法,因为不一定能解决问题还会浪费很多时间!

然后,因为我的集群上并没有什么重要数据,因为搭建好了并没有使用,再次用的时候发现这个问题,我第一次解决就是用的”把这个/tmp/dfs的文件和日志删掉”这个方法

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值