hadoop里nameNode和dateNode的ID不一致解决办法

最新推荐文章于 2024-08-27 21:35:38 发布

舰圣

最新推荐文章于 2024-08-27 21:35:38 发布

阅读量4.7w

点赞数 9

文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/weixin_44915822/article/details/108957136

版权

本文档描述了在Hadoop集群中遇到namenode和datanode的clusterID不一致的问题，导致datanode无法启动。解决方法包括：一是手动同步clusterID，二是删除datanode的current目录。这两种方法都有其注意事项，如复制ID时要避免遗漏，删除current目录会丢失数据。建议谨慎操作，避免频繁格式化Hadoop。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

在这里插入图片描述

namenode启动了，但是datanode没有启动，查看日志文件logs的datanode
查看到warn警告，仔细阅读后发现日志报错原因是
在这里插入图片描述

2020-10-08 04:15:46,298 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/
java.io.IOException: Incompatible clusterIDs in /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas: namenode clusterID = CID-2f09afac-b688-4da5-b214-b44b5195fb62; datanode clusterID = CID-3bdc9d55-c3c8-4849-84ca-5021ef795ee7

namenode的id和datanode的id不一致，猜测可能是因为格式化了多次namenode，因为每次格式化namenode会更新clusterID，但是datanode只会在首次格式化时确定，所以导致两个ID不一致，解决方法有多种如下：

解决方案

第一种：根据日志找到clusterID

先将

/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas/current/VERSION

的clusterID复制替换到

/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/current/VERSION

下，然后再重启hadoop相关节点服务，最后DataNode可以正常运行

第二种：删除所有节点里的临时文件

删除

/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/

目录下的的current
1：cd到

/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas/

2：找到并rm -rf current
3：再进入到

/export/servers/hadoop-2.6.0-cdh5.14.0/sbin

启动hadoop相关节点服务，最后DataNode可以正常运行

下为运行正常后的效果图：

在这里插入图片描述

总结

提示：以上两种方法需要各位酌情使用
复制粘贴ID可能会有遗漏
第二种方法是直接删除文件，会导致数据丢失
所以不要轻易就格式化hadoop哦