Hadoop启动datanode结点All specified directories are failed to load报错解决方案

最新推荐文章于 2023-10-19 00:27:55 发布

喧嚣_

最新推荐文章于 2023-10-19 00:27:55 发布

阅读量1k

点赞数

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/qq_41521180/article/details/90299968

版权

本文介绍了在阿里云服务器上，由于重启导致Hadoop datanode启动失败并出现'All specified directories are failed to load'错误的问题。解决方法包括：同步datanode与namenode的clusterID，或者删除data目录的文件。通过这两种方式，可以成功启动datanode。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

因重启阿里云服务器，需要重新启动格式化namenode，重新启动结点后发现，datanode没有启动成功，反复几次后还是不行，最后查看日志文件发现报All specified directories are failed to load错误。在网上查了好一会，原因在于每次格式化时，namenode的clusterID会改变，而datanode的clusterID不会改变，造成namenode和datanode的clusterID不一致。以下是解决过程

解决过程

2019-05-16 17:57:28,144 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode clusterID = CID-6dbccc7d-1bc2-43e4-a564-f72664b2d532; datanode clusterID = CID-5d721c74-9d56-4504-a08b-0d2e10b925c3
2019-05-16 17:57:28,144 FATAL org.apache.hadoop.hdfs.server.datanode