解决 hadoop集群namenode和datanode 启动成功后 live nodes 显示1或0

最新推荐文章于 2022-11-02 12:47:35 发布

原创最新推荐文章于 2022-11-02 12:47:35 发布 · 2.4k 阅读

CC 4.0 BY-SA版权

当Hadoop集群的NameNode和DataNode启动后，若Live Nodes显示不正常（如1或0），可以通过检查日志、配置文件，特别是`/etc/hosts`文件来排查问题。确保所有服务器的配置信息一致，NameNode和DataNode能正确识别彼此的主机名。错误的示例是将`192.168.60.x`系列IP改为`192.168.61.x`系列，修正后的配置应显示正确的主机映射名称，从而解决Live Nodes显示异常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 如果是namenode 和datanode 启动失败的可以查看

[root@node3 ~]# hadoop-daemon.sh start datanode
starting datanode, logging to /root/apps/hadoop-2.8.5/logs/hadoop-root-datanode-node3.out 这里有日记记录

也就是你启动 datanode或者namenode 时候就会提示（日志能解决你的语法错误尤其是新手）

2. 分析原因首先正常情况下 node1启动 datanode 时会去找你的主服务器（master 我自己定义的是master）

datanode 之所以能找到是因为多台服务器的配置信息都是一样也就是说它是通过配置文件来找主服务器的(core-site.xml ,hdfs-site.xml检查这两个 )

所以检查配置文件我的问题是出在 /etc/hosts 下

修改之前的

127.0.0.1 localhost node1 localhost4 localhost4.localdomain4
::1 localhost node1 localhost6 localhost6.localdomain6

192.168.60.66 node1 edu-node1
192.168.60.67 master edu-master
192.168.60.68 node2 edu-node2
192.168.60.69 node3 edu-node3

修改之后的

127.0.0.1 localhost localhost1 localhost4 localhost4.localdomain4
::1 localhost localhost1 localhost6 localhost6.localdomain6

192.168.61.66 node1 edu-node1
192.168.61.67 master edu-master
192.168.61.68 node2 edu-node2
192.168.61.69 node3 edu-node3

总结我之所以发现问题是我看到 live nodes 下面显示的是1 打开看到名称是 localhost 这是错的正常的应该是显示你的映射的名字

In operation

Show 2550100All entries

master也可以启动datanode 的

Node	Http Address	Last contact	Capacity	Block pool used	Version
master:50010 (192.168.61.67:50010)	http://master:50075	0s	46.97 GB	8 KB (0%)	2.8.5
node1:50010 (192.168.61.66:50010)	http://node1:50075	2s	46.97 GB	8 KB (0%)	2.8.5
node2:50010 (192.168.61.68:50010)	http://node2:50075	0s	46.97 GB	8 KB (0%)	2.8.5
node3:50010 (192.168.61.69:50010)	http://node3:50075	0s	46.97 GB	8 KB (0%)	2.8.5