多次NameNode执行format后DataNode启动不了解决方案

猫不夜行

于 2019-09-02 18:23:00 发布

阅读量587

点赞数

分类专栏： Hadoop 文章标签： Hadoop HDFS

本文链接：https://blog.youkuaiyun.com/u014310499/article/details/103249361

版权

当NameNode启动但DataNode无法启动时，问题可能源于多次执行Hadoop namenode -format导致clusterID不一致。解决方法包括查找并修改不同DataNode节点上data/current/VERSION文件中的clusterID，确保与NameNode的clusterID一致，然后重新启动DataNode即可成功启动。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.问题

执行start-dfs.sh后在进程中查看jps，发现NameNode启动，但DataNode没有

2.原因

在失败的.log文件中看到datanode的clusterID 和 namenode的clusterID 不一致

原因可能是多次Hadoop namenode -format导致clusterID不一致

3.解决方法

1）先去hadoop路径下的配置文件hdfs-site.xml可知dfs.namenode.name.dir的地址和dfs.datanode.data.dir的地址

默认：file://${hadoop.tmp.dir}/dfs/name、file://${hadoop.tmp.dir}/dfs/data

（/opt/module/hadoop-2.7.2/data/tmp/dfs/name、/opt/module/hadoop-2.7.2/data/tmp/dfs/data）

2）在.../name/current/VERSION 中获得clusterID

[root@hadoop201 current]# more VERSION 
#Mon Sep 02 18:06:26 CST 2019
namespaceID=1033971221
clusterID=CID-98e754ef-ad92-49f8-88b2-6830888f2d48
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1400239548-192.168.1.201-1567418785939
layoutVersion=-63

3）将clusterID修改到.../dfs/