Hadoop集群的DataNode中nodemanager启动一段时间后自动关闭问题

最新推荐文章于 2024-09-12 00:12:35 发布

Fushicho_XF

最新推荐文章于 2024-09-12 00:12:35 发布

阅读量3.1k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：大数据文章标签：大数据 Hadoop yarn namemanager

本文链接：https://blog.youkuaiyun.com/weixin_41156591/article/details/85333040

大数据专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一个Hadoop集群中NodeManager进程自动结束的问题及解决办法。在一个由node01、node02和node03组成的Hadoop2.7.3集群中，NodeManager进程在启动后一段时间内异常终止。通过修改yarn-site.xml文件中的资源管理器地址配置，解决了NodeManager进程的链接异常问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境说明:

Hadoop 2.7.3 版本

NameNode节点:node01,node02

DataNode节点:node01,node02,node03

node01机器作为主NameNode节点.

问题说明:

Hadoop集群启动正常,查询jps后发现三台机器的nodemanager进程启动正常,但是一段时间后,发现三台机器的nodemanager进程都自动结束了,查询日志后发现是链接异常的问题.

解决办法:

关闭Hadoop:

$ stop-all.sh

修改 yarn-site.xml 文件,在<configuration> </configuration>中添加如下内容:

<property>
    <name>yarn.resourcemanager.address</name>
    <value>node01:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>node01:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>node01:8031</value>
</property>

然后再次启动Hadoop集群即可: