搭建HadoopHA高可用集群详细配置教程

最新推荐文章于 2025-01-06 16:10:11 发布
最新推荐文章于 2025-01-06 16:10:11 发布
阅读量812 收藏 9
点赞数 2
分类专栏： 大数据 文章标签： 分布式 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44719527/article/details/104814395
版权

一、前言

  • 所谓HadoopHA高可用集群就是要消灭单点故障问题，实现7 * 24小时无间断提供服务。
  • 当然想到搭建高可用前提示会搭建hadoop的分布式，最起码也要熟练搭建伪分布式。
  • 想要实现自动故障转移，需要借助Zookeeper来实现管理和检查节点的健康状态。也就是需要会搭建Zookeeper集群，本次搭建我就不在演示搭建zookeeper集群了，如果还不熟悉参考我之前的博客。https://blog.youkuaiyun.com/qq_44719527/article/details/104671380
  • 如果伪分布式还不熟悉参考（包括修改主机名，修改hosts文件，解压）https://blog.youkuaiyun.com/qq_44719527/article/details/104560392
  • 需要免密登录，详见https://blog.youkuaiyun.com/qq_44719527/article/details/104670797

二、搭建环境版本和环境说明

1.使用linuxCentOS6.10（三台）
2.hadoop2.7.2，jdk1.8.0_144
3.zookeeper3.0.4
4.Xshell5

三、搭建步骤

1.首先当然是上传压缩包，解压就不演示了。。。
2.关闭防火墙，修改静态ip，更改主机名，三台都需要修改。然后重启
3.更改/ect/hosts文件，三台都需要同样的配置
节点有几台就配几台的IP和主机名映射

192.168.25.134 hadoop102
192.168.25.135 hadoop103
192.168.25.136 hadoop104

在这里插入图片描述
4.保证zookeeper集群是启动没问题的，地址https://blog.youkuaiyun.com/qq_44719527/article/details/104671380
在这里插入图片描述
5.配置高可用的HDFS
（1）去修改core-site.xml

<!-- 把两个NameNode）的地址组装成一个集群mycluster -->
		<property>
			<name>fs.defaultFS</name>
        	<value>hdfs://mycluster</value>
		</property>

		<!-- 指定hadoop运行时产生文件的存储目录 -->
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/opt/ha/hadoop-2.7.2/data/tmp</value>
		</property>
	<!--zookeeper配置-->
	<property>
      <name>ha.zookeeper.quorum</name>
      <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
	</property>

（2）修改hdfs-site.xml,这里注意使用隔离机制时需要ssh无秘钥登录，我这里是root用户，你是什么用户，就写你的用户名。注意修改主机名与你自己的对应了。

<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<!-- 完全分布式集群名称 -->
	<property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	</property>
	<!-- 集群中NameNode节点都有哪些 -->
	<property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2</value>
	</property>
	<!-- nn1的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>hadoop102:9000</value>
	</property>
	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>hadoop103:9000</value>
	</property>

	<!-- nn1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>hadoop102:50070</value>
	</property>
	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>hadoop103:50070</value>
	</property>
	<!-- 指定NameNode元数据在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
	</property>
	<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	<!-- 使用隔离机制时需要ssh无秘钥登录-->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<!-- 声明journalnode服务器存储目录-->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/opt/ha/hadoop-2.7.2/data/jn</value>
	</property>
	<!-- 关闭权限检查-->
	<property>
		<name>dfs.permissions.enable</name>
		<value>false</value>
	</property>
	<!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->
	<property>
  		<name>dfs.client.failover.proxy.provider.mycluster</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
		<!--自动故障转移开启-->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>

（3）修改hadoop.env.xml,填写jdk的路径
在这里插入图片描述
（4）修改yarn.site.xml，注意修改主机名与你自己的对应了。

<!-- reducer获取数据的方式 -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
    <!--启用resourcemanager ha-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
 
    <!--声明两台resourcemanager的地址-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop102</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop103</value>
    </property>
    <!--指定zookeeper集群的地址--> 
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>
    <!--启用自动恢复--> 
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property> 
    <!--指定resourcemanager的状态信息存储在zookeeper集群--> 
    <property>
        <name>yarn.resourcemanager.store.class</name>     
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>
	<!--配置日志聚集功能使用-->
	  <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
     </property>
	 <!--日志保留时间7天-->
     <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
	</property>

（5）修改yarn.env.xml,添加jdk的路径，
在这里插入图片描述
（6）打开slaves添加节点主机名，不需要ip，注意修改主机名与你自己的对应了。在这里插入图片描述
（7）复制mapred.site.xml.template 文件名是mapred.site.xml，注意修改主机名与你自己的对应了。

<!-- 指定mr运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>hadoop102:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>hadoop102:19888</value>
	</property>

（8）打开mapred.env.xml添加jdk路径
在这里插入图片描述
（9）分发给其他节点，这里就需要时候ssh免密登录了，如果不设置免密，需要一直输入密码。还有启动的时候，会麻烦死。
1）可以使用分发，这个是适合我的脚本，对脚本不熟悉的可以使用scp

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=102; host<105; host++)); do
        #echo $pdir/$fname $user@hadoop$host:$pdir
        echo --------------- hadoop$host ----------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

2）分发完去其他节点查看一下有没有，是否分发成功

四、启动

1.先启动journalnode，三台都需要启动

sbin/hadoop-daemon.sh start journalnode

在这里插入图片描述
2.在[nn1]上，对其进行格式化，并启动

（1）格式化命令，只是第一次需要，以后启动不再需要格式化。

bin/hdfs namenode -format

（2）启动namenode

sbin/hadoop-daemon.sh start namenode

在这里插入图片描述
3.在[nn2]上，同步nn1的元数据信息

bin/hdfs namenode -bootstrapStandby

4.如果两个namenode都能手动起来说明配置八成没有问题，现在把两个namenode都关闭

sbin/hadoop-daemon.sh stop namenode

5.初始化HA在Zookeeper中状态

bin/hdfs zkfc -formatZK

6.启动hdfs服务

sbin/start-dfs.sh

在这里插入图片描述
7.启动yarn进程，这个脚本只能启动一个resourcemanager

sbin/start-yarn.sh

在这里插入图片描述
8.发现只有一个resourcemanager，我们需要手动开启nn2节点上的resourcemanager

sbin/yarn-daemons.sh start resourcemanager

在这里插入图片描述

五、遇到的问题和注意事项

1.格式化只需要第一次启动的时候格式化，以后启动不需要了
2.zookeeper集群一定保证正常开启且是第一个开启的。
3.注意ip和主机名的映射不要写错，最好是配置静态ip
4.如果多次格式化了 ，需要删掉 临时目录和日志文件在格式化。如果不删，namenode八成起不来
5.防火墙一定要关闭或开放端口。
6.其他问题私信博主

写作不易，如果对您有所帮助，请给一个小小的赞，您的点赞是对我莫大的支持和鼓励,谢谢！！！

hadoop高可用集群配置
凉茶铺的博客
10-28 2112
介绍了如何搭建高可用hadoop HA集群
Hadoop集群高可用配置
weixin_41765352的博客
11-29 1642
最近在学习hadoop大数据技术，自己动手搭建了HA集群，为记录学习过程，特将搭建过程记录在博客。文中的各配置文件均来源于我的自己的配置，只需修改为自己的主机名和路径就可以使用，给和我一样初涉大数据的小白们提供个参考。
Hadoop高可用集群配置
qq_42005540的博客
03-22 846
目录一、Hadoop高可用集群的配置第一步：配置文件第二步：删除所有机器都tmp和logs文件夹第三步：启动journalnode（所有机器都要启动）第四步：主结点操作初始化第五步：将初始化生成的tmp文件夹同步给副结点（有两种方式）第六步：主节点初始化zookeeper服务第七步：主节点启动hdfs服务：二、什么是高可用集群三、JournalNode的作用四、主节点namenode初始化的作用 一、Hadoop高可用集群的配置 第一步：配置文件 1、 [root@hadoop2 hadoop]# vi
hadoop 集群配置（高可用）
Qinsurpass的博客
06-08 1441
hadoop集群高可用配置三台虚拟机先配置jdk和zookeeper配置hadoop 配置三台虚拟机 192.168.199.161 pass1 192.168.199.162 pass2 192.168.199.163 pass3 先配置jdk和zookeeper 见  jdk、zookeeper环境配置 配置hadoop 解压hadoop安装包 [root@pass1 install]# tar -zxvf ./hadoop-2.6.0-cdh5.14.2.tar.gz -C ../
Hadoop-HA 高可用集群搭建
m0_48379126的博客
10-08 471
core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with
Hadoop HA高可用集群3.3.6搭建（详细教程）
最新发布
weixin_45525313的博客
01-06 2688
前置环境（1）下载：https://archive.apache.org/dist/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz（2）安装ZK https://www.yuque.com/mylucky-8msta/pbmy30/mhin20xtk00plzg0?singleDoc# 《集群安装》（3）确保SSH互通。
保姆式 搭建Hadoop之Ha高可用集群
2301_80279730的博客
12-17 951
保姆式帮助你搭建高可用Hadoop分布式集群
Hadoop之Ha高可用搭建教程
weixin_74865657的博客
03-18 2110
随着大数据技术的不断发展，Hadoop作为开源的大数据处理框架，已经广泛应用于各种场景中。然而，在大型生产环境中，Hadoop集群的稳定性和可用性显得尤为重要。为了保障Hadoop集群的高可用性（HA），我们需要采用一系列的技术和策略。本文将重点介绍Hadoop集群的HA高可用方案。Hadoop集群的HA高可用主要指的是在集群中的关键组件出现故障时，能够自动切换到其他节点继续提供服务，从而确保整个集群的稳定运行。Hadoop集群的HA高可用方案是保障集群稳定性和可用性的重要手段。
Hadoop之Ha高可用搭建教程_启动hadoop高可用集群
2401_84181286的博客
04-30 309
其他的 Standby 状态的NameNode 不能自动切换为 Active状态。(img-3fbcgrac-1714407553481)](img-VCoo79hF-1714407553481)](img-xXyyiSZ9-1714407553480)]在初始化前要先启动三台节点的zookeeper，并关闭防火墙。(5)start-dfs.sh 和 stop-dfs.sh。配置zoo.cfg文件，在文件中添加下面内容。slave1上执行：（只需执行一次）mater上执行：（只需执行一次）
hadoop HA高可用集群搭建
weixin_53404927的博客
06-01 350
首先，高可用集群是建立在zookeeper搭建没有问题的前提下来完成的，没有搭建好zookeeper的，先搭好才可以做以下操作。 一：前期准备（只需要在主节点master上完成） 1.拍摄快照 想拍就拍，不想拍算了，建议还是拍一个，毕竟万一搭不好，还可以回到你这个状态，记得给快照加个备注，以防忘记你这个快照是干嘛的。最好关机状态下拍。 2.删除完全分布式集群 rm -rf /usr/local/src/hadoop 3.重新解压一个新的hadoop并重命名 tar -zvxf /o...
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /etc/sysconfig/selinux SELINUX=disabled
Hadoop HA高可用集群搭建
weixin_51938762的博客
06-21 304
Hadoop-HA，Hadoop高可用集群的搭建，Yarn-HA搭建
Hadoop高可用(HA)集群的搭建
dsafds123的博客
05-05 332
Hadoop高可用(HA)集群的搭建 参考上一篇博客来搭建Hadoop高可用（两个namenode，两个resourcemanager） ↓↓↓ Hadoop的伪分布式搭建及zookeeper的搭建 1、首先启动zookeeper集群(三台机器都执行) cd /usr/local/src/zookeeper-3.4.5 bin/zkServer.sh start 2、进入Hadoop配置文件目...
Hadoop HA集群配置
Z_Data的博客
11-08 690
目录   一、 基础配置 创建7台机器，设置静态ip分别如下： 2、 hadoop配置 集群规划 安装步骤 1、安装配置zooekeeper集群（在ha5上）（更详细zookeeper安装步骤参见zookeeper安装） 2、安装配置hadoop集群（在ha1上操作） 2.1解压 2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hado...
Hadoop HA高可用集群环境搭建（CenOS7）
Universe — Higher and farther
11-21 1346
Hadoop HA 集群简介：       HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。      影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的NameNode节...
8.Hadoop的HA(高可用)模式集群搭建
weixin_52010459的博客
10-17 2068
详细说明Hadoop的HA模式搭建的过程，使用hadoop-3.1.3，jdk1.8.0_162
Hadoop集群搭建HA高可用版
小刘的博客
03-31 3067
Hadoop HA搭建 前提需要 准备三台虚拟机 创建三台虚拟机，主机名分别更改为hadoop01,hadoop02,hadoop03 Hadoop部署如下 主机名 主机IP hadoop01 192.168.197.101 hadoop02 192.168.197.102 hadoop03 192.168.197.103 以下更改
配置Hadoop-HA集群
子清的博客
09-08 190
1.环境准备 修改IP地址与hostname 部署zookeeper:《zookeeper的安装与配置》 部署hadoop：《搭建hadoop集群》 设置时区同步：《Linux时间同步》 2.修改配置文件 2.1修改core-site.xml <configuration> <!--指定hdfs的nameserve为ns--> <property> <name>fs.defaultFS</name> <value>hdfs:/
Hadoop3与高可用HA架构搭建教程
### Hadoop简介 Hadoop是一个由Apache基金会开发的分布式系统基础架构...以上这些知识点是搭建Hadoop 3及其高可用集群的重要组成部分，通过掌握这些知识点，可以有效地设计、配置、部署和维护一个高可用的Hadoop集群。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值