DataNode 启动失败

最新推荐文章于 2023-11-21 16:22:47 发布

bigclouder

最新推荐文章于 2023-11-21 16:22:47 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/kiwi_kid/article/details/53492185

Hadoop 专栏收录该内容

15 篇文章

订阅专栏

本文介绍了一种常见的Hadoop集群问题——DataNode启动失败的原因及解决办法。问题源于NameNode与DataNode的clusterID不一致导致。文章详细展示了如何通过检查配置文件找到问题所在，并给出了清除旧数据目录以解决问题的具体步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DataNode启动失败，报错

2016-12-06 18:17:35,191 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/hadoop/data/
java.io.IOException: Incompatible clusterIDs in /hadoop/data: namenode clusterID = CID-36c92eec-507e-403e-8dc8-d23e16af7646; datanode clusterID = CID-06a58f18-22f2-4610-a4c5-c55cf3458fa8

主要错误内容

namenode clusterID = CID-36c92eec-507e-403e-8dc8-d23e16af7646; datanode clusterID = CID-06a58f18-22f2-4610-a4c5-c55cf3458fa8

是因为NameNode与DataNode clusterID不一致

其中NameNode的版本定义在

    <property>
      <name>dfs.namenode.name.dir</name>
      <value>/hadoop/name</value>
    </property>

内容如下：

#Tue Dec 06 17:49:57 CST 2016
namespaceID=1593050536
clusterID=CID-36c92eec-507e-403e-8dc8-d23e16af7646
cTime=0
storageType=NAME_NODE
blockpoolID=BP-575747321-10.134.46.148-1481017797330
layoutVersion=-63

DataNode的版本定义在

    <property>
      <name>dfs.datanode.data.dir</name>
      <value>/hadoop/data</value>
    </property>

内容如下：

#Tue Dec 06 18:34:31 CST 2016
storageID=DS-9ed9879a-e2d9-4b85-a441-7eedc3de9e7d
clusterID=CID-06a58f18-22f2-4610-a4c5-c55cf3458fa8
cTime=0
datanodeUuid=b21a4c69-fa1c-4acb-96ed-d34bb8c199b3
storageType=DATA_NODE
layoutVersion=-56

删除/hadoop/data中的内容，hadoop会自动重新格式化DataNode，故障解除