org.apache.hadoop.ipc.RemoteException(java.io.IOException)异常

本文详细解析了在启动Hadoop集群时遇到的datanode无法启动的问题,原因在于namenode与datanode的clusterID不一致。文章回顾了操作流程,并提供了清除dfs文件夹后重新格式化和启动的解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

       最近在调试flink程序时,发现程序起不来,查看错误日志和hadoop相关,我的程序与hadoop相关的只有设置了checkpoint的路径是hdfs的一个目录路径。

错误日志最后的错误大致是:

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /

后查看机器进程情况发现:集群中datanode没有启动,但是nodemanager启动起来了,且web可以正常访问。

这个问题即Hadoop启动时,datanode没有启动,才有上述错误日志输出。

其具体原因是:

当我们使用hadoop namenode -format格式化namenode时,会在namenode数据文件夹(这个文件夹为自己配置文件中dfs.name.dir的路径)中保存一个current/VERSION文件,记录clusterID,datanode中保存的current/VERSION文件中的clustreID的值是上一次格式化保存的clusterID,这样,datanode和namenode之间的ID不一致,datanode启动失败。

回想自己的操作在上次操作的基础上是:

      hadoop namenode -format

      sbin/start-dfs.sh

导致VERSION文件中ID不一致的。

解决方法

 如果dfs文件夹中没有重要的数据,那么删除dfs文件夹,再重新运行下列指令: (删除所有节点下的dfs文件夹,dfs目录在${HADOOP_HOME}/tmp/)

        hadoop namenode -format

        sbin/start-dfs.sh

总结:

  初首次启动hadoop集群前,每次启动hadoop时,不要运行hadoop namenode -format命令,直接运行命令sbin/start-dfs.sh启动。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值