Hadoop NodeManager无法启动问题解决

本文记录了解决Hadoop YARN中NodeManager无法启动的问题过程。通过调整配置文件yarn-site.xml中的内存和CPU核心数设置,成功解决了NodeManager启动失败的情况。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近在学习Hadoop的时候, 用虚拟机在Ubuntu中按照官网教程搭建好伪集群环境。 hdfs可以正常启动, 但是在启动Yarn的时候, NodeManager一直无法启动, 查看了下yarn的ResourceManager日志, 发现一直在报错:

org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService:  
    NodeManager from  john-VirtualBox doesn't satisfy minimum allocations,   
    Sending SHUTDOWN signal to the NodeManager.

上网查了很多资料, 下面这些方法都试过,
1. yarn.scheduler.maximum-allocation-mb调大
2. yarn.nodemanager.resource.memory-mb调大
3. 等等。。。
然而,并没有什么卵用。。。

后来忘记在哪看了一个博客说好像是hadoop-2.7.4版本默认参数有点问题,我按照他的方法把下面这两个参数添加到yarn-site.xml中,发现竟然神奇的解决了。。

<property>  
     <name>yarn.nodemanager.resource.cpu-vcores</name>  
     <value>8</value>  
 </property>  
 <property>  
     <name>yarn.nodemanager.resource.memory-mb</name>  
     <value>8192</value>  
</property>

此问题真正的原因,我还不清楚, 知道的麻烦留言告诉下哈~

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值