Hadoop——Namenode HA搭建问题记录

最新推荐文章于 2025-05-20 20:12:36 发布

原创最新推荐文章于 2025-05-20 20:12:36 发布 · 384 阅读

0 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

7 篇文章

订阅专栏

本文详细解析了Hadoop集群中Namenode高可用性(HA)的配置步骤，包括journalnode的启动、namenodeformat操作及元数据同步。同时，针对自动故障转移配置中出现的UnknowHostException问题，提供了从core-site.xml文件中ha.zookeeper.quorum属性的正确设置解决方案。

记录一、

在搭建Namenode HA后，需要先启动journalnode，然后进行namenode format，在启动第二台namenode时需要先向元数据拉取到第二台namenode中，使用 hdfs haadmin -bootstrapStandby进行拉取，不然启动第二台namenode时会出现org.apache.hadoop.hdfs.server.common.InconsisteneFSStateException:Directory ... is an inconsistent state:storage directory does not exist or it not accessable.错误

记录二、

在配置自动故障转移，格式化zkfc时，hdfs zkfc -format出现java.net.UnknowHostException:hadoop01:2181;hadoop02:2181;hadoop03:2181 Name or service not known

at java.net.Inet4AddressImpl.lookupAllHostAddr(Native Method)

...

经过检查发现在core-site.xml中配置ha.zookeeper.quorum的value多个机器地址直接使用了分号；进行分割，应该使用逗号，进行分割

修改前：

<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181;hadoop02:2181;hadoop03:2181</value>

</property>

修改后：

<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>