HDFS集群正常启动,但Web页面仅有一个DataNode 主节点的问题

博客详细记录了Hadoop集群中,除主节点外的DataNode无法正常启动的问题及解决过程。通过调整各节点core-site.xml配置,特别是fs.defaultFS属性,使所有节点指向同一NameNode,成功解决了LivedataNodes只显示一个节点的问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.问题描述

三台虚拟机(分别是hadoop02,hadoop03,hadoop04)集群所有数据节点都已经正常启动了,而通过命令hadoop dfsadmin -report 显示的 Live datanodes却只有1个。
问题描述图1
通过web页面查看http://hadoop02:50070,在Live Node那一栏也显示只有1个节点,而且只有主节点hadoop02。Live Nodes为1,Dead Nodes为0,没有显示其他节点存活。
问题描述图2

2.解决过程与我的解决办法

2.1解决过程

上网查找了很多办法,包括:

  1. 重新格式化namenode,再正确配置clusterID,storageID和 datanodeUuid;
  2. 检查 /etc/hosts 正确配置;
  3. 检查防火墙是否关闭 firewall-cmd --state,查看selinux状态 getenforce

    等等均无法正常解决该问题。
2.2我的解决办法
2.2.1问题发现

经过不断寻找调试与求证,发现了问题所在:
第二节点hadoop03和第三节点hadoop04核心文件core-site.xml文件系统配置,
与主节点hadoop02的core-site.xml文件配置不同

具体情况如下:
主节点hadoop02的core-site.xml
问题发现1
第二节点hadoop03的core-site.xml
问题发现2
第三节点hadoop04的core-site.xml
问题发现3

2.2.2问题解决

在hadoop安装目录下,输入
vi etc/hadoop/core-site.xml
将三个节点的核心文件core-site.xml配置为完全相同
主要是第2和第3节点的配置属性fs.defaultFS的值均为主节点hadoop02的value值

	```core-site.xml
	<configuration>
		    <property>
		        <name>hadoop.tmp.dir</name>
				        <value>/root/hadoop/app/hadoop-2.7.6/dir/data</value>
				        <description>Abase for other temporary directories.</description>
		    </property>
		    <property>
				        <name>fs.defaultFS</name>
				        <value>hdfs://hadoop02:9000</value>
		    </property>
	</configuration>
	```

配置修改完成后重启 dfs
stop-dfs.sh
start-dfs.sh
节点启动完成后,命令hadoop dfsadmin -report 显示的 Live datanodes为3,达到预期
问题解决1
Web页面查看http://hadoop02:50070,在Live Node那一栏显示3个节点,,达到预期
问题解决2
以上,问题解决,希望可以帮助到大家

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值