hadoop 安装常见的异常

最新推荐文章于 2025-06-19 21:11:51 发布

迅捷的软件产品制作专家

最新推荐文章于 2025-06-19 21:11:51 发布

阅读量586

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/xiamaocheng/article/details/54974331

本文介绍了Hadoop集群中出现的一些常见错误，包括不一致的cluster ID、检查点字段不一致及EOF异常等问题，并提供了详细的解决步骤。对于cluster ID不一致的情况，需要清除日志和数据节点的数据，并重新格式化名称节点；对于检查点字段不一致的问题，可通过配置hdfs-site.xml文件来解决；而EOF异常则可能与防火墙设置有关。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.
java.io.IOException: Incompatible clusterIDs in /soft/hadoopdata/hdfs/datanode: namenode clusterID = CID-5bf29c46-50cb-45ce-b452-fd26e8d765e1; datanode clusterID = CID-54aae590-de23-4a4e-95b2-e75c1e54d0

解决方案：

hostname localhost

$HADOOP_HOME/sbin/stop-all.sh

rm -rf /soft/hadoop-2.6.0/logs

rm -Rf /soft/hadoopdata/hdfs/datanode/*

hdfs namenode -format

$HADOOP_HOME/sbin/start-all.sh

java.io.IOException: Inconsistent checkpoint fields.
LV = -60 namespaceID = 1096247151 cTime = 0 ; clusterId = CID-3a486278-3f09-4cfc-827f-74b5b2cb3f47 ; blockpoolId = BP-1326718077-127.0.0.1-1486734709441.

解决方案hdfs-site.xml：

hdfs-site.xml

secondarynamenode :

<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/tmp</value>
</property>

java.io.EOFException: End of File Exceptionbetween local host is: "localhost.localdomain/127.0.0.1"; destinationhost is: "localhost":9000; : java.io.EOFException; For more detailssee: http://wiki.apache.org/hadoop/EOFException

atsun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

atsun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)

at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:4

解决方法：

C:\WINDOWS\system32\drivers\etc

1） 临时生效，重启后复原

开启： service iptables start

关闭： service iptables stop

2） 永久性生效，重启后不会复原

开启： chkconfig iptables on

关闭： chkconfig iptables off

sudo ln -s /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.121/jre/bin/java /usr/bin/java