Hadoop 数据节点DataNode异常

最新推荐文章于 2025-03-04 23:00:14 发布

火玄子

最新推荐文章于 2025-03-04 23:00:14 发布

阅读量1.3w

点赞数 9

分类专栏： Hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/gis_101/article/details/52679914

版权

1、问题背景

操作系统：CentOS7 64位
Hadoop版本：Hadoop2.7.3
JDK：1.8.0_65

2、问题描述

使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。

3、问题原因

通过查看DataNode节点日志，报Incompatible clusterIDs异常。（注意如果没有配置hadoop日志路径默认在$HADOOP_INSTALL/logs目录下，也就是安装目录的logs文件夹里，当然可以修改hadoop-env.sh文件中的HADOOP_LOG_DIR，比如加入export HADOOP_LOG_DIR=/var/log/hadoop）。DataNode节点日志文件异常信息如下：

/**************************************************/
2016-09-26 16:38:56,122 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/tmp/hadoop-hadoop/dfs/data/