Hadoop3.x高可用集群搭建流程

最新推荐文章于 2025-03-21 10:22:16 发布
最新推荐文章于 2025-03-21 10:22:16 发布
阅读量1.6k 收藏 6
点赞数
分类专栏： 我的Hadoop学习之旅 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43540084/article/details/127676612
版权

Hadoop3.x高可用集群搭建流程

本文基于尚硅谷Hadoop3.x搭建高可用集群文档，hadoop版本为hadoop3.1.3，用于记录自己实操部署的过程和可能存在的问题。

一、搭建HDFS-HA

1.准备三台节点（物理机或虚拟机都行）

按照尚硅谷前置资料Hadoop3.x学习资料搭建好三台hadoop3.1.3版本的节点，包括：
修改好网络ip，
配置ssh免密登录、
安装jdk和hadoop3.1.3
添加相关环境变量及各节点间通信。

2.手动配置HDFS-HA

手动配置的参数配置比较复杂，可能实际应用较多的是自动配置
目标配置成的高可用集群规划如下：
在这里插入图片描述

修改相关的xml文件：core-site.xml, hdfs-site.xml

core-site.xml:

<configuration>
	<!-- 把多个 NameNode 的地址组装成一个集群 mycluster -->
 	<property>
		 <name>fs.defaultFS</name>
 		<value>hdfs://mycluster</value>
 	</property>
	<!-- 指定 hadoop 运行时产生文件的存储目录 -->
 	<property>
 		<name>hadoop.tmp.dir</name>
 		<value>**/home/zbq/opt/module/hadoop**/data</value>
 	</property>
</configuration>

加粗部分更改为自己的文件所在目录

hdfs-site.xml:

<configuration>
<!-- NameNode 数据存储目录 -->
	<property>
 		<name>dfs.namenode.name.dir</name>
		 <value>file://${hadoop.tmp.dir}/name</value>
 	</property>
<!-- DataNode 数据存储目录 -->
 	<property>
		 <name>dfs.datanode.data.dir</name>
		 <value>file://${hadoop.tmp.dir}/data</value>
	</property>
<!-- JournalNode 数据存储目录 -->
	<property>
		 <name>dfs.journalnode.edits.dir</name>
		 <value>${hadoop.tmp.dir}/jn</value>
	</property>
<!-- 完全分布式集群名称 -->
	<property>
 		<name>dfs.nameservices</name>
 		<value>mycluster</value>
	</property>
<!-- 集群中 NameNode 节点都有哪些 -->
	<property>
 		<name>dfs.ha.namenodes.mycluster</name>
 		<value>nn1,nn2,nn3</value>
	</property>
<!-- NameNode 的 RPC 通信地址 -->
	<property>
		 <name>dfs.namenode.rpc-address.mycluster.nn1</name>
		 <value>hadoop101:8020</value>
	</property>
	<property>
		 <name>dfs.namenode.rpc-address.mycluster.nn2</name>
		 <value>hadoop102:8020</value>
	</property>
	<property>
		 <name>dfs.namenode.rpc-address.mycluster.nn3</name>
		 <value>hadoop103:8020</value>
	</property>
<!-- NameNode 的 http 通信地址 -->
	<property>
		 <name>dfs.namenode.http-address.mycluster.nn1</name>
		 <value>hadoop101:9870</value>
	</property>
 <property>
		 <name>dfs.namenode.http-address.mycluster.nn2</name>
		 <value>hadoop102:9870</value>
 </property>
 <property>
		 <name>dfs.namenode.http-address.mycluster.nn3</name>
		 <value>hadoop103:9870</value>
 </property>
<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
 <property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop101:8485;hadoop102:8485;hadoop103:8485/mycluster</value>
 </property>
<!-- 访问代理类：client 用于确定哪个 NameNode 为 Active -->
 <property>
		 <name>dfs.client.failover.proxy.provider.mycluster</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>
<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
 <property>
		 <name>dfs.ha.fencing.methods</name>
		 <value>sshfence</value>
 </property>
<!-- 使用隔离机制时需要 ssh 秘钥登录-->
 <property>
		 <name>dfs.ha.fencing.ssh.private-key-files</name>
		 <value>/home/**zbq**/.ssh/id_rsa</value>
 </property>
</configuration>

加粗部分为自己的用户目录名，另外主机名（hadoop101等）具体需要根据自己的主机名更改
最后分发配置文件到所有节点，可以手动分发也可以编写分发脚本。

启动集群

在每个节点都启动journalNode
[zbq@hadoop102~]$ hdfs --daemon start journalnode
[zbq@hadoop103~]$ hdfs --daemon start journalnode
[zbq@hadoop104~]$ hdfs --daemon start journalnode

在nn1上格式化并启动
[zbq@hadoop102~]$ hdfs namenode -format
[zbq@hadoop102~]$ hdfs --daemon start namenode

在其余节点上同步nn1的元数据信息
[zbq@hadoop103~]$ hdfs namenode -bootstrapStandBy
[zbq@hadoop104~]$ hdfs namenode -bootstrapStandBy

启动nn2和nn3
[zbq@hadoop103~]$ hdfs --daemon start namenode
[zbq@hadoop104~]$ hdfs --daemon start namenode

这里如果节点较多的话也是需要编写启动脚本的，这里暂不做记录

在网页端查看，由于没有active节点，所有节点对外都是standBy状态
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在所有节点启动datanode
[zbq@hadoop101~]$ hdfs --daemon start datanode
[zbq@hadoop102~]$ hdfs --daemon start datanode
[zbq@hadoop103~]$ hdfs --daemon start datanode

将nn1设置为active
[zbq@hadoop101~]$ hdfs haadmin -transitionToActive nn1

可以查看当前节点状态
[zbq@hadoop101~]$ hdfs haadmin -getServiceState nn1

3.HDFS-HA自动模式搭建

手动配置的问题就是如果节点挂了没法故障转移，比如我的hadoop101挂了，其他的两个节点还是傻傻的standby，那么集群就无法对外提供服务了。因此这里要进行HDFS-HA的自动模式搭建起到自动故障转移的作用。
自动故障转移规划，起始就是通过Zookeeper来进行协调处理。
在这里插入图片描述

修改配置文件

分别修改core-site.xml和hdfs-site.xml
core-site.xml

<!-- 指定 zkfc 要连接的 zkServer 地址 -->
<property>
	<name>ha.zookeeper.quorum</name>
	<value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
</property>

hdfs-site.xml

<!-- 启用 nn 故障自动转移 -->
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>

分发文件给其他节点，关闭之前HDFS服务

[zbq@hadoop101~]$ stop-dfs.sh

启动集群

启动zookeeper

[zbq@hadoop101~]$ zkServer.sh start
[zbq@hadoop102~]$ zkServer.sh start
[zbq@hadoop103~]$ zkServer.sh start

启动HDFS服务

[zbq@hadoop101~]$ start-dfs.sh

此时在web-ui界面看到的和之前的一样，但是手动kill掉namenode进程模拟节点挂掉的时候会出发自动故障转移到其他的节点。

这里可能会遇到一个问题，就是默认安装的minimal-centos系统缺少一个插件，会导致节点故障时无法触发转移机制，需要在每个节点偶读安装一遍

yum install -y psmisc

二、搭建Yarn-HA集群

在搭建好的HDFS-HA基础上直接进行yarn-site.xml的修改，具体参数可以参照官网官方文档中关于yarn-default.xml的配置，这里根据文档列出需要配置的参数。
在这里插入图片描述

修改配置文件

yarn-site.xml

<configuration>
	<property>
   		<name>yarn.nodemanager.aux-services</name>
 		<value>mapreduce_shuffle</value>
 	</property>
 <!-- 启用 resourcemanager ha -->
 	<property>
 		<name>yarn.resourcemanager.ha.enabled</name>
 		<value>true</value>
 	</property>
 <!-- 声明两台 resourcemanager 的地址 -->
	 <property>
		 <name>yarn.resourcemanager.cluster-id</name>
		 <value>cluster-yarn1</value>
	 </property>
 <!--指定 resourcemanager 的逻辑列表-->
	 <property>
		 <name>yarn.resourcemanager.ha.rm-ids</name>
		 <value>rm1,rm2,rm3</value>
	</property>
<!-- ========== rm1 的配置 ========== -->
<!-- 指定 rm1 的主机名 -->
	 <property>
		 <name>yarn.resourcemanager.hostname.rm1</name>
		 <value>hadoop102</value>
	</property>
<!-- 指定 rm1 的 web 端地址 -->
	<property>
		 <name>yarn.resourcemanager.webapp.address.rm1</name>
		 <value>hadoop102:8088</value>
	</property>
<!-- 指定 rm1 的内部通信地址 -->
	<property>
		 <name>yarn.resourcemanager.address.rm1</name>
		 <value>hadoop102:8032</value>
	</property>
<!-- 指定 AM 向 rm1 申请资源的地址 -->
	<property>
		 <name>yarn.resourcemanager.scheduler.address.rm1</name> 
		 <value>hadoop102:8030</value>
	</property>
<!-- 指定供 NM 连接的地址 --> 
	<property>
		 <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
		 <value>hadoop102:8031</value>
	</property>
<!-- ========== rm2 的配置 ========== -->
 <!-- 指定 rm2 的主机名 -->
	 <property>
		 <name>yarn.resourcemanager.hostname.rm2</name>
		 <value>hadoop103</value>
		</property>
	<property>
 		<name>yarn.resourcemanager.webapp.address.rm2</name>
		 <value>hadoop103:8088</value>
	</property>
	<property>
		 <name>yarn.resourcemanager.address.rm2</name>
		 <value>hadoop103:8032</value>
	</property>
	<property>
		 <name>yarn.resourcemanager.scheduler.address.rm2</name>
		 <value>hadoop103:8030</value>
	</property>
	<property>
		 <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
		 <value>hadoop103:8031</value>
	</property>
<!-- ========== rm3 的配置 ========== -->
<!-- 指定 rm1 的主机名 -->
	 <property>
		 <name>yarn.resourcemanager.hostname.rm3</name>
		 <value>hadoop104</value>
	</property>
<!-- 指定 rm1 的 web 端地址 -->
	<property>
		 <name>yarn.resourcemanager.webapp.address.rm3</name>
		 <value>hadoop104:8088</value>
	</property>
<!-- 指定 rm1 的内部通信地址 -->
	<property>
		 <name>yarn.resourcemanager.address.rm3</name>
		 <value>hadoop104:8032</value>
	</property>
<!-- 指定 AM 向 rm1 申请资源的地址 -->
	<property>
		 <name>yarn.resourcemanager.scheduler.address.rm3</name> 
		 <value>hadoop104:8030</value>
	</property>
<!-- 指定供 NM 连接的地址 --> 
	<property>
		 <name>yarn.resourcemanager.resource-tracker.address.rm3</name>
		 <value>hadoop104:8031</value>
	</property>
 <!-- 指定 zookeeper 集群的地址 --> 
	 <property>
		 <name>yarn.resourcemanager.zk-address</name>
		 <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
	 </property>
 <!-- 启用自动恢复 --> 
	 <property>
		 <name>yarn.resourcemanager.recovery.enabled</name>
		 <value>true</value>
	 </property>
 <!-- 指定 resourcemanager 的状态信息存储在 zookeeper 集群 --> 
	 <property>
		 <name>yarn.resourcemanager.store.class</name> 					
		 <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>
<!-- 环境变量的继承 -->
	<property>
		 <name>yarn.nodemanager.env-whitelist</name>
	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	 </property>
</configuration>

和HDFS-HA一样，将节点名称更改为自己的hostname

分发文件到其他节点

编写xsync脚本或者手工rsync皆可

启动yarn

以在hadoop101上启动为例

[zbq@hadoop101~]$ start-yarn.sh

查看服务状态
在这里插入图片描述
此时在web-ui界面无论ip地址输入hadoop103:8088还是其他节点，都会自动跳转到hadoop103:8088/cluster
在这里插入图片描述
参考：
《尚硅谷 Hadoop-HA高可用》pdf

hadoop3.x--搭建hadoop高可用集群（HA模式）
lzq00277的博客
04-30 2803
HDFS高可用集群（HA模式）1、集群规划2、安装前配置3、安装jdk与hadoop4、克隆虚拟机与互信配置5、搭建zookeeper集群6、初始化启动hdfs集群 1、集群规划 hostname ip NN JN DN ZKFC ZK hadoopHA01 192.168.10.201 yes yes yes hadoopHA02 192.168.10.202 yes yes yes yes yes hadoopHA03 192.168.10.203 yes yes yes
原生Hadoop3.X高可用配置方式
别人笑我太疯癫，我笑他人看不穿。
06-16 1435
Hadoop3.X版本，在2017年左右就有了第一个alpha版本，但是那个时候刚出来，所以没有人使用，到2018年3.0.0版本作为第一个3，X正式发布，截止当前本文书写时间，3.X版本已经发展到了3.4，在Hadoop的顶层设计上最大的区别就是在2.X的时候，高可用机制只允许一个在工作中，一个在备用，但是3.X的hadoop允许最多存在五套高可用节点。当然，官方推荐最多三套，自带的MR计算框架也由原来的纯磁盘运算加入了内存运算的设计。 在给大家介绍3.X如何搭建集群之前，要先给大家说一些理论上的东西，当
Hadoop3 HA高可用集群搭建-hadoop3ha高可用集群搭建
峰
03-17 876
Hadoop3高可用（HA:High Available）测试集群搭建。NameNode是整个Hadoop集群的大脑。HDFS 在非 HA 模式的集群下，NameNode 和 DataNode 是一个主从的架构。在这样的主从架构之下只有一台 NameNode。一台 NameNode 的好处是无需因为元数据的同步而考虑数据的一致性问题。但这种模式下一旦NameNode挂掉，整个集群将不可用。
hadoop3.x版本集群部署
最新发布
itxuchuanlong的博客
03-21 1002
修改主机名关闭防火墙，避免后面因防火墙问题导致端口范围不通。创建用户，赋予sudo权限，后期使用该账号进行安装创建安装目录，并修改目前的所述祖，后面jdk和hadoop都安装在此目录下。
Hadoop3.3.0 高可用集群搭建
m0_68203364的博客
09-11 865
记录个人所用Hadoop3.3.0完全分布式高可用集群搭建
hadoop3 高可用集群
qq_34304427的博客
09-17 1206
配置文件所在路径：/opt/module/hadoop-3.3.4/etc/hadoop。在文档末尾加入一下内容，这里由于是测试环境，内存给的比较小。
hadoop3.x集群搭建
qq_25542879的博客
04-26 6424
hadoop3.x集群搭建(亲测有效~） 之前集群搭建过hadoop2.6和2.7，但是听说hadoop3.x有新特性，减少了IO的次数，据介绍并行计算能力是spark的10倍。所以，笔者开始尝试搭建，找网上找了好多资料，结合自己的经验，终于搭建成功，花了从虚拟机安装到搭建hadoop框架花了两天时间,着实不容易哈哈。接下来，将一一介绍精简的配置搭建hadoop。 准备步骤 你需要准备3或者3...
hadoop3.x笔记.docx
06-28
Hadoop 是一个基于分布式存储的大数据处理框架，本文档将详细介绍 Hadoop 3.x 的配置和底层原理，从零搭建集群以及解决遇到的问题，通过图形化的方式更好地理解 Hadoop 的作用。 一、HDFS 组成 HDFS（Hadoop ...
Hadoop高可用集群搭建步骤
weixin_51104731的博客
07-27 1967
搭建hadoo高可用集群的详细步骤
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
m0_52435951的博客
04-10 4017
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
Hadoop1.x、2.x、3.x区别
weixin_61518174的博客
06-28 503
h
hadoop3.1.3集群搭建(ha+yarn)
01-07
当前环境： centos6.5,jdk8 准备工作： 1.服务器之间免密登录 $ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys 2.服务器之间时间同步 3.安装zookeeper集群 搭建步骤： 1.下载apache hadoop3.1.3并上传至服务器解压 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/ha
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /etc/sysconfig/selinux SELINUX=disabled
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
01-11
一、高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，故下面先进行讲解： 1.1 高可用整体架构 HDFS 高可用架构如下： 图片引用自： https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-high-availability/ HDFS 高可用架构主要由以下组件所构成： Active Na
Hadoop3的高可用搭建
Baron_ND的博客
06-21 1739
Hadoop集群作为当今大数据技术的基础数据底座非常重要，尽管部署过程非常复杂，步骤特别多，不过本文尽可能对每一步都做到细致入微，目的是让初学者手把手的照着做，也能正确部署好Hadoop平台，为后续的大数据技术学习，解决一入门就遇到这个高门槛。NameNode高可用[datanode-1、datanode-2]，Journal集群[datanode-1、datanode-2、datanode-3]，ZKFC服务[datanode-1、datanode-2]全部正常启动。
【Hadoop3.1.X-3-Hadoop3.x高可用集群搭建】
weixin_38136584的博客
01-08 520
Hadoop3.1.X-3-Hadoop3.x高可用集群搭建
什么是 hadoop
weixin_41454036的博客
09-10 505
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS
Hadoop3.X分布式高可用集群部署
wangshui898的专栏
09-28 1153
一、部署规划 1.1 版本说明 软件 版本 操作系统 CentOS Linux release 7.8.2003 (Core) hadoop hadoop-3.3.1 JAVA jdk-8u271-linux-x64 1.2 集群规划 hostname IP 组件 master 172.16.20.200 NameNode ZKFailoverController secondmaster 172.16.20.201 NameNode
搭建大数据Hadoop3.X高可用集群环境
积跬步，至千里。
04-29 1953
详细记录使用三台Linux服务器搭建Hadoop3.X高可用集群环境过程，避免踩坑.........
Hadoop-HA-3.3.3高可用集群搭建
qq_39604679的博客
05-29 3572
hadoop最新版本的HA高可用集群搭建流程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值