Hadoop HA模式升级配置

最新推荐文章于 2025-01-06 16:10:11 发布

打怪的蚂蚁

最新推荐文章于 2025-01-06 16:10:11 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据环境

本文链接：https://blog.youkuaiyun.com/xgjianstart/article/details/72300270

大数据环境专栏收录该内容

18 篇文章

订阅专栏

本文档详细介绍了如何将Hadoop集群从非HA模式升级到HA模式，涉及配置包括zookeeper集群设置、namenode节点配置、journalnode启动、数据同步及验证HA状态等步骤。确保在ubuntu07和ubuntu08两台节点上正确设置，实现高可用性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这里仅以两台机器作为参考，配置HA模式，文档中所使用的的zookeeper集群也为ubuntu07和ubuntu08两台节点，实际生产环境建议使用奇数节点。ubuntu07和ubuntu08均配置为namenode节点，其中一台处于standby状态，两台节点均作为datanode节点。

1.1 使用如下命令停止非HA模式下的Hadoop所有进程

stop-all.sh

1.2 修改所有节点的core-site.xml文件（或者在某个节点上修改后分发给各个节点）
删除fs.default.name的配置，新增如下配置，根据具体环境配置，新增fs.defaultFS 和ha.zookeeper.quorum配置，配置内容为zookeeper集群的服务（zookeeper集群必须为奇数节点）：

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>ubuntu07:2181,ubuntu08:2181</value>
</property>
</configuration>

1.3 修改文件所有节点hdfs-site.xml（或者在某个节点上修改后分发给各个节点）
新增如下内容，红色内容的bigdata请和core-site.xml中配置保持一致，其他红色内容根据具体环境修改。

<name>dfs.nameservices</name>

<value>bigdata</value>

</property>

<name>dfs.ha.namenodes.bigdata</name>

<value>ubuntu07,ubuntu08</value>

</property>

<name>dfs.namenode.rpc-address.bigdata.ubuntu07</name>

<value>ubuntu07:9000</value>

</property>

<name>dfs.namenode.http-address.bigdata.ubuntu07</name>

<value>ubuntu07:50070</value>

</property>

<name>dfs.namenode.rpc-address.bigdata.ubuntu08</name>

<value>ubuntu08:9000</value>

</property>

<name>dfs.namenode.http-address.bigdata.ubuntu08</name>

<value>ubuntu08:50070</value>

</property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://ubuntu07:8485;ubuntu08:8485/bigdata</value>

</property>

<name>dfs.ha.automatic-failover.enabled.bigdata</name>

</property>

<name>dfs.client.failover.proxy.provider.bigdata</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<name>dfs.journalnode.edits.dir</name>

<value>/home/imax/journal</value>

</property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

</property>

在namenode所在节点执行如下命令：
hdfs zkfc -formatZK
该命令会在zookeeper上创建hadoop-ha节点。

1.4 启动journal集群，选取集群中三个节点（建议至少三台，且为奇数）上执行如下命令：

hadoop-daemon.sh start journalnode

1.5 拷贝数据文件（拷贝数据前必须停止namenode进程）
1.5.1 将core-site.xml中所配置的hadoop.tmp.dir对应的路径内容拷贝到新增的namenode节点上，红色内容为core-site.xml中的hadoop.tmp.dir值，请根据具体的环境修改
scp -r /home/imax/hadoopdata/tmp imax@192.168.25.85:/home/imax/hadoopdata/
1.5.2 将hdfs-site.xml中所配置的dfs.namenode.name.dir对应的路径内容拷贝到新增的namenode节点上，红色内容为hdfs-site.xml中的dfs.namenode.name.dir值，请根据具体环境修改
scp -r /home/imax/hadoopdata/dfs/name imax@192.168.25.85:/home/imax/hadoopdata/dfs/

1.6 执行journalnode格式化操作，执行如下命令，必须journalnode节点启动后方可执行
hdfs namenode -initializeSharedEdits
1.7 启动namenode，在各个namenode节点执行如下命令
hadoop-daemon.sh start namenode
1.8 启动datanode，在各个datanode节点执行如下命令（若datanode节点没有关闭则不用启动）
hadoop-daemon.sh start datanode
1.9 在所有namenode节点上启动zkfc，执行如下命令
hadoop-daemon.sh start zkfc
1.10 在某个namenode节点上启动yarn，执行如下命令
start-yarn.sh
1.11 验证集群是否处于HA模式
1.11.1 页面打开两个namenode的地址http://192.168.xxx.xxx:50070/dfshealth.html#tab-overview和http://192.168.xxx.xxx:50070/dfshealth.html#tab-overview，可以分别看到如下内容，一个节点的namenode处于active状态，另一个节点处于standby状态。