spark的slave上没有datanode 的解决办法

最新推荐文章于 2024-01-04 10:22:50 发布

原创

最新推荐文章于 2024-01-04 10:22:50 发布 · 5.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#namenode #datanode #spark #hadoop

当Spark的slave上缺少datanode时，可通过执行sbin/start-dfs.sh和sbin/start-yarn.sh启动Hadoop服务。同时，使用/hadoop dfsadmin -report命令检查datanode状态，并通过Hadoop Web界面确认其是否存活。参考相关博客文章进行故障排查。

问题描述：
通过jps命令发现两个slave上都没有datanode，而master上正常
找到namenode和datanode各自的VERSION，发现master下的更新日期为1月27，slave下为12月25
分别查看master和slave日志发现果然有warn

解决办法：

1、停止服务，停止spark的和hadoop的，有stop-all.sh
2、找到哪台的slave的datanode没有，我两台的datanode都没有
于是删除data目录，data目录即是在hdfs-site.xml文件中配置的dfs.data.dir目录
我的是 hadoop下dfs/data这个目录，然后rm -r data,再mkdir data
然后bin/hadoop namenode –format，然后再重启hadoop集群，即可
成功的现象：
这个时候slave的VERSION的日志也改了
发现master的dfs/name下有个文件叫in_use.lock
然后master上和slave上的jps的结果和这篇日志的完全一样了
http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/
即master中有
namenode,secondarynamenode,jps,resourcemanager,maste