Hadoop分布式环境搭建遇到的问题： Problem binding to [bigdata-03.superyong.com:8031] java.net.BindException

原创

于 2019-01-18 15:35:12 发布 · 1.8k 阅读

CC 4.0 BY-SA版权

在搭建Hadoop分布式环境时，遇到ResourceManager无法在bigdata-03.superyong.com上自动启动的问题。尽管配置无误且其他服务正常，但通过日志发现绑定错误。检查主机配置和端口占用后未发现问题。尝试在ResourceManager所在节点启动服务成功。推测可能原因是Namenode和ResourceManager必须在同一节点启动，但原因不明。

首先介绍的我的集群分布情况：

bigdata-01.superyong.com      NodeManager      DataNode      NameNode（active）
bigdata-02.superyong.com      NodeManager      DataNode      NameNode（standby）
bigdata-03.superyong.com      NodeManager      DataNode      ResourceManager

已经配置过ssh免秘钥协议：

遇到的问题：

在启动时，我使用的是全部启动：

sbin/start-all.sh

因为主节点namenode在 bigdata-01.superyong.com 机器上，所以我在这台机器上运行了该命令，运行之后

发现除了 bigdata-03.superyong.com 这台机器上的 resourcemanager （yarn的主节点）没有启动之外其他机器该启动的服务都正常启动了，于是检查了 yarn-site.xml 文件：

<configuration>

<!-- Site specific YARN configuration properties -->

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata-03.superyong.com</value>
    </property>
    
    <property>
        <name>yarn.log