hadoop集群常见问题

本文介绍了Hadoop集群中Namenode启动失败和ResourceManager启动报错的问题及解决方案。Namenode启动失败可能由于配置不一致或tmp目录文件丢失,解决方法包括重新配置或使用SecondaryNameNode恢复。ResourceManager启动报错通常是由于端口占用,确保在正确机器上启动YARN服务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.namenode启动不了:使用hadoop-daemon.sh start namenode也没用

查看日志:

(1)第一种可能是配置的文件路径不一致导致出错,删除掉core-site.xml中的tmp.dir配置,统一配置到hdfs-site.xml中。

(2)第二种是因为断电关机等原因系统删除了tmp文件中的name,使得namenode不能启动。

解决办法1:如果secondnamenode安装在了另一台机器,可以使用secondnamenode恢复:

第一步删除 namenode主节点的metadata配置目录rm -fr /data/dfs/name

第二步从起机器,第三步使用hadoop namenode -importCheckpoint恢复

解决办法2:使用hadoop namenode -format格式化namenode所在的机器

2.Resourcemanager启动报错

starting Resourcemanager, logging to /home/hadoop/soft/hadoop-2.7.3/logs/hadoop-hadoop-Resourcemanager-node2.out
Error: Could not find or load main class Resourcemanager

 查看日志信息

Caused by: java.net.BindException: Problem binding to [node2:8031] java.net.BindException: 无法指定被请求的地址; For more details see:  http://wiki.apache.org/hadoop/BindException

 解决办法:对于完全分布式集群必须要在安装Resourcemanager的机器上启动yarn

 

侵删!

参考:hadoop集群崩溃,因为tmp下/tmp/hadoop-hadoop/dfs/name文件误删除 - 代码王子 - 博客园

java.net.BindException: Problem binding to [hadoop103:8031] java.net.BindException - 与君共舞 - 博客园 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值