Hadoop集群搭建中的问题

最新推荐文章于 2024-04-27 23:53:56 发布

原创最新推荐文章于 2024-04-27 23:53:56 发布 · 444 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

hadoop 专栏收录该内容

14 篇文章

订阅专栏

本文介绍在腾讯云环境中部署Hadoop2.6.5集群的过程及遇到的问题。主要解决从节点连接主节点失败的情况，通过调整配置监听所有网卡端口，成功解决了slave无法连接master的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

节点启动正常，从节点失败

从连接主的时候出现问题，查看日志发现，slave在连接master的端口失败，retry了多次。原因：腾讯云hosts文件不支持配置本主机的外网ip，master只监听了127.0.0.1的9002端口，而slave连接的是master(外网ip)的9002端口，因此出现slave连接master失败

集群启动中配置顺序hadoop2.6.5

core-site.xml

<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/data/hadooptmp</value>
</property>
<property>
    <name>fs.defaultFS</name>
    //腾讯云主机上监听所有网卡9002端口
    <value>hdfs://0.0.0.0/9002</value>
</property>

hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/data/hadooptmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/data/hadooptmp/dfs/data</value>
</property> 
<property>
<name>dfs.secondary.http.address</name>
<value>192.168.1.152:50090</value>
</property>

mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>