Hadoop3, datanode 与live node(伪分布=0) 不相等

本文记录了解决Spark Streaming无法写入HDFS的问题过程。作者在遇到livenode数量异常,导致写入失败的情况后,通过排查配置、修改hosts文件及调整节点路径等方法未果,最终通过格式化namenode成功解决问题。

结论: 其实到最后我也没弄明白原因是什么, 就当作记录以下解决风心路历程吧

 

今天在用HDFS的时候,发现spark-streaming怎么也写入不了HDFS, 检查之后 我就看不明白了。

jps检查之后,所有的service都正常启动了,但是local:9870里 live node的数量不对, 改成伪分布式之后live node=0, 但是在resourceManager(local:8088)里,能看到有一个node。 服务都有, 一个有node,一个没有,这是咋回事

 

查到可能是 /etc/hosts的问题, 修改之后,没有变化。

后来又查到 slave下的各个node不能存在同一个hdfs的path下,修改之后还是不行。

local:9870 无法介入hdfs,不能读,地址不存在,但是文件夹已经有了。

log看到自闭,没发现问题。

 

因为在伪分布式下live node = 0, 所以很可能是master这里有问题, 试图格式化hdfs, 首先尝试删除tmp

rm -r ./tmp  

然后格式化namenode

./bin/hdfs namenode -format 

再重启, 他就好了。。。。。。

(问题:live node = 0,yarn上能查到正确的node,可以先尝试格式化namenode)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值