Hadoop完全分布式 小bug -no.1 为啥我的集群只显示一个datanode!

本文记录了作者在搭建Hadoop集群过程中遇到的datanode数量显示异常问题,通过删除datanode的VERSION文件并重启集群,成功解决了datanode数量不正确的问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题如标题,先说一下我的搭建步骤1.在主节点主机下,配置好hadoop,yarn,mapred三个env文件以及site文件和salves文件2.确保tmp文件清空的情况下,格式化namenode3.将配置好的Hadoop软件包分发给另外两个克隆机4.用start-dfs.sh命令启动集群。用jps命令确认所需进程是否启动.访问主节点主机Ip:50070网站,把网页tab切换至datanodes,然后发生了一件神奇的事情,图如下

在这里插入图片描述

what? 为什么只有一个datanode,而且刷新后发现,三个主机来回切换占用一个datanode。然后从各网站上面搜寻各种答案。。。。。。当查到datanode在tmp/dfs/data/current/VERSION里面有自己的Id的时候,我就想到可能是三台机器的datanode占用一个datanode的Id所致,毕竟,namenode和datanode的id是在format namenode的时候生成的,于是我删掉了文件夹下的VERSION(存储datanodeId)的文件,杀掉所有namenode,datanode进程重新用start-hdfs.sh命令启动,然后…
在这里插入图片描述

suprised! 大功告成!

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值