Hadoop04 Hdfs HA集群搭建_dfs.ha.namenodes.mycluster-优快云博客

本文链接：https://blog.youkuaiyun.com/csg103/article/details/129569693

文章详细介绍了如何在Hadoop2.0/3.0环境下配置高可用NameNode集群，包括修改core-site.xml和hdfs-site.xml配置文件，设置Zookeeper集群，进行NameNode的格式化和初始化，以及启动和监控过程。当主NameNode故障时，系统能自动进行故障转移，确保服务不间断。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在集群模式下有一个NameNode,数据磁盘化由SNN去做，高可用模式下有两个(hadoop2.0)或多个（3.0）NameNode ，一个主其他的是备，备用节点可以去做磁盘化。

架构如下所示

部署架构图

node1: nameNode1 journal1 DataNode1

node2: journal2 DataNode2

node3: journal3 DataNode3

node4: nameNode1

利用集群模式修改配置文件

首先部署两个NameNode修改配置文件 mycluster为集群名称，根据此名称可以找到其他NameNode

vim core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>

    <property>
        <name>ha.zookeeper.quorum</name>
        <value>node1:2181,node2:2181,node3:2181</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/DataOrLogs/hadoop/ha</value>
    </property>

</configuration>

vim hdfs-site.xml

<configuration>
    <!-- NameNode两台节点配置 -->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>    
    <property>
         <name>dfs.namenode.rpc-address.mycluster.nn1</name>
         <value>node1:9000</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
         <value>node4:9000</value>
     </property>
     <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
         <value>node1:50070</value>
    </property>

    <property>
        <name>dfs.nameno