【hadoop】高可用的Hadoop完全分布式环境搭建

已于 2025-04-10 11:24:43 修改
阅读量1k 收藏 10
点赞数 12
分类专栏： hadoop 文章标签： 分布式 hadoop 大数据
于 2025-04-03 10:42:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_83769134/article/details/146973809
版权

 前言：要顺利完成本次环境搭建，必须准备好三台配置好ZooKeeper集群的虚拟机，再次确保三台主机有独立的IP、独立的主机名、并且配置好IP地址与主机名之间的映射，三台机器之间的SSH免密登录，以及三台机器之间的时间同步。

我们对于集群配置的修改，可以先在一台机器上进行（如master），修改完成后把配置文件分发到其他机器上即可！！！

本教程的集群的规划如图所示

（一）HDFS分布式集群的配置 

一、修改core-site.xml配置文件

配置文件位于你的hadoop安装文件夹里面的/etc/hadoop/路径下，因此先：

cd ~/hadoop-2.9.2/etc/hadoop/

 然后再：

vim core-site.xml

配置内容如下： 

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://mycluster</value>
	</property>
	<!--默认的HDFS路径-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/hadoop/data/tmp</value>
	</property>
	<!--hadoop的临时目录，如果需要配置多个目录，需要逗号隔开-->
	<property>
	<name>ha.zookeeper.quorum</name>
	<value>master:2181,slave1:2181,slave2:2181</value>
	</property>
	<!--配置Zookeeper管理HDFS-->
</configuration>

修改完成后，把该配置文件分发到另外两台机器，或者你自行在另外两台机器上修改相应的配置，要确保三台机器配置内容一样。

以下是发送配置文件的命令，以发送到slave1机器上的为例：

scp -r core-site.xml hadoop@slave1:/home/hadoop/hadoop-2.9.2/etc/hadoop/core-site.xml

 请注意标红的部分，尝试理解这个scp命令，按照实际情况去修改执行。

 二、修改hdfs-site.xml配置文件

该文件同样位于hadoop安装文件夹里面的/etc/hadoop/路径下：

cd ~/hadoop-2.9.2/etc/hadoop/

然后再： 

vim hdfs-site.xml

配置内容如下： 

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <!--数据块副本数为3-->
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
  </property>
  <!--权限默认配置为false-->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>
  <!--命名空间，它的值与fs.defaultFS的值要对应，namenode高可用之后有两个namenode，mycluster是对外提供的统一入口-->
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>
  <!-- 指定 nameService 是 mycluster时的nameNode有哪些，这里的值也是逻辑名称，名字随便起，相互不重复即可-->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>master:9000</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>master:50070</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>slave1:9000</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>slave1:50070</value>
  </property>
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <!--启动故障自动恢复-->
  <property> 
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
  </property>
  <!--指定NameNode的元数据在JournalNode上的存放位置-->
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!--指定 mycluster 出故障时，哪个实现类负责执行故障切换-->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/home/hadoop/data/journaldata/jn</value>
  </property>
  <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>shell(/bin/true)</value>
  </property>
  <!-- 配置隔离机制,shell通过ssh连接active namenode节点，杀掉进程-->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/hadoop/.ssh/id_rsa</value>
  </property>
  <!-- 为了实现SSH登录杀掉进程，还需要配置免密码登录的SSH密匙信息 -->
  <property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>10000</value>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
  </property>
</configuration>

请务必认真仔细，注意标红的主机名、路径等信息，要和你实际情况相符。

修改完成后，把该配置文件分发到另外两台机器，或者你自行在另外两台机器上修改相应的配置，要确保三台机器配置内容一样。

以下是发送配置文件的命令，以发送到slave1机器上的为例：

scp -r hdfs-site.xml hadoop@slave1:/home/hadoop/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

三、配置slaves配置文件 

该文件同样位于hadoop安装文件夹里面的/etc/hadoop/路径下：

cd ~/hadoop-2.9.2/etc/hadoop/

 然后再：

vim slaves

 配置内容如下：

master
slave1
slave2

 以下是发送配置文件的命令，以发送到slave1机器上的为例：

scp -r slaves hadoop@slave1:/home/hadoop/hadoop-2.9.2/etc/hadoop/slaves

 四、启动HDFS集群服务

步骤：

1、HDFS的高可用实现依赖ZooKeeper，因此先启动三台机器的ZooKeeper服务；

2、分别启动JournalNode集群，在三台机器上各自执行以下命令：

hadoop-daemon.sh start journalnode

3、格式化主节点NameNode，在master上，执行以下命令：

hdfs namenode -format                   // 格式化NameNode
hdfs zkfc -formatZK                     // 格式化ZooKeeper高可用
hdfs namenode                            // 启动NameNode

4、master上启动NameNode进程后，在slave1上就可以同步NameNode元数据，在slave1上执行以下命令： 

hdfs namenode -bootstrapStandby

5、第4步同步完成后，可以关闭master上的NameNode进程，切回到master上的终端，使用<Ctrl+C>组合键结束进程即可。

6、关闭JournalNode集群，在三台机器上各自执行以下命令：

hadoop-daemon.sh stop journalnode

 如果上述步骤没有报错，则后续可以在master上一键启动HDFS集群：

start-dfs.sh

 测试：启动成功后，可以通过master、slave1的IP地址+50070端口在浏览器端访问HDFS集群的Web界面，查看状态，如：http://192.168.203.133:50070，或者使用以下命令查看NameNode状态：

hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2

测试2：可以尝试使用hadoop fs -mkdir命令创建一个/test文件夹，然后再把words.log文件上传到HDFS集群中，检查HDFS能否正常使用。

（二）YARN分布式集群的配置 

一、修改mapred-site.xml配置文件

该文件主要配置MapReduce相关属性，将MapReduce运行环境指定未YARN即可，这里和前面的配置中是一致的，不需修改。文件内容如下，可供确认：

<configuration>
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
<!--指定运行MapReduce的环境是YARN-->
</configuration>

二、修改yarn-site.xml配置文件

该文件同样位于hadoop安装文件夹里面的/etc/hadoop/路径下：

cd ~/hadoop-2.9.2/etc/hadoop/

然后再：

vim yarn-site.xml

配置内容如下：

<configuration>
  <property>
    <name>yarn.resourcemanager.connect.retry-interval.ms</name>
    <value>2000</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  <!--打开高可用-->
  <property>
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <!--启动故障自动恢复-->
  <property>
    <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
    <value>true</value>
  </property>
  <!--RM启动内置选举active-->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yarn-rm-cluster</value>
  </property>
  <!--给yarn cluster 取个名字yarn-rm-cluster-->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  <!--ResourceManager高可用 rm1,rm2-->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>master</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>slave1</value>
  </property>
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
</property>
  <!--启用resourcemanager 自动恢复-->
  <property>
    <name>hadoop.zk.address</name>
    <value>master:2181,slave1:2181,slave2:2181</value>
  </property>
  <!--配置Zookeeper地址作为状态存储和leader选举-->
  <property>
    <name>yarn.resourcemanager.address.rm1</name>
    <value>master:8032</value>
  </property>
  <!--rm1端口号-->
  <property>
    <name>yarn.resourcemanager.scheduler.address.rm1</name>
    <value>master:8034</value>
  </property>
  <!-- rm1调度器的端口号-->
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value> master:8088</value>
  </property>
  <!-- rm1 webapp端口号-->
  <property>
    <name>yarn.resourcemanager.address.rm2</name>
    <value>slave1:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address.rm2</name>
    <value>slave1:8034</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>slave1:8088</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <!--执行MapReduce需要配置的shuffle过程-->
  <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
  </property>
  <property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
 <value>4</value>
  </property>
</configuration>

同样务必认真仔细，注意标红的主机名信息，要和你实际情况相符。

修改完成后，把该配置文件分发到另外两台机器，或者你自行在另外两台机器上修改相应的配置，要确保三台机器配置内容一样。

以下是发送配置文件的命令，以发送到slave1机器上的为例：

scp -r yarn-site.xml hadoop@slave1:/home/hadoop/hadoop-2.9.2/etc/hadoop/yarn-site.xml

三、启动YARN集群服务 

步骤：

1、YARN的高可用实现也依赖与ZooKeeper，但前面已经启动了ZooKeeper服务，因此这步可以跳过。

2、一键启动YARN集群，在master上执行脚本命令：

start-yarn.sh

3、由于上面脚本不包含备用ResourceManager的启动，因此要手动启动备用ResourceManager，在slave1上执行命令：

yarn-daemon.sh start resourcemanager

4、测试：启动成功后，可以通过master、slave1的IP地址+8088端口在浏览器端访问YARN集群的Web界面，也可以使用以下命令查看两个ResourceManager的状态：

yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2

5、测试2：尝试上传一些数据集（用之前的天气数据，或者words.log都行）到HDFS中，然后执行一下对应的MapReduce程序，看看能否正常运行。

Hadoop系列之Hadoop 高可用(4)
01-20 6万+
Hadoop 高可用 在Hadoop 2.0以前的版本，NameNode面临单点故障风险（SPOF），也就是说，一旦NameNode节点挂了，整个集群就不可用了，而且需要借助辅助NameNode来手工干预重启集群，这将延长集群的停机时间。而Hadoop 2.0版本支持一个备用节点用于自动恢复NameNode故障，Hadoop 3.0则支持多个备用NameNode节点，这使得整个集群变得更加可靠。 什么是 Hadoop 高可用 Hadoop 2.0版本支持一个备用节点用于自动恢复NameNode故障，Hado
Hadoop之Ha高可用搭建教程
weixin_74865657的博客
03-18 2199
随着大数据技术的不断发展，Hadoop作为开源的大数据处理框架，已经广泛应用于各种场景中。然而，在大型生产环境中，Hadoop集群的稳定性和可用性显得尤为重要。为了保障Hadoop集群的高可用性（HA），我们需要采用一系列的技术和策略。本文将重点介绍Hadoop集群的HA高可用方案。Hadoop集群的HA高可用主要指的是在集群中的关键组件出现故障时，能够自动切换到其他节点继续提供服务，从而确保整个集群的稳定运行。Hadoop集群的HA高可用方案是保障集群稳定性和可用性的重要手段。
HADOOP 高可用搭建
m0_60458199的博客
11-04 3156
首先先说一下大概的步骤，就用四台为例，简单适合新手操作。 流程是：创建虚拟机，配置好；搭建linux系统；安装jdk（因为后面好多都依赖jkd）；免密登录ssh；安装zookeeper；最后就是搭建高可用了。不熟练的小伙伴可以先试试单机模式。 这是我的四台机子加一个单机模式 。 1.创建虚拟机就不多说了，一直下一步下一步，重复四次创建4个。当然有疑问的可以私聊我，我帮你解决。创建好后就是修改配置 首先输入vi /etc/sysconfig/network-scripts/ifcfg-ens33，
Hadoop高可用集群部署
最新发布
2301_80214672的博客
05-12 481
bashbash。
Hadoop高可用
weixin_52189442的博客
10-19 701
Hadoop高可用一、单namenode架构局限性二、单点故障问题三、HA高可用机制（1）HA机制简介（2）NFS与QJM（3）failover故障切换（4）脑裂及解决 参考博客 https://blog.youkuaiyun.com/lb812913059/article/details/79718413 一、单namenode架构局限性 NameSpace（命名空间的限制） 由于Namenode在内存中存储所有的元数据（metadata）。NN在管理大规模的命名空间时，单个Namenode所能存储的对象（文件+
Hadoop之高可用HA
10-22
1.深入理解zookeeper的使用场景及概念 2.熟练使用zookeeper的java api 3.理解监听集群主机上下线案例代码
Hadoop 高可用概述
weixin_45417821的博客
11-10 1321
（1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。 （2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA机制：HDFS 的 HA 和 YARN 的 HA。 （3）NameNode 主要在以下两个方面影响 HDFS 集群 ➢ NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启 ➢ NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用 HDFS HA 功能通过配置多个 NameNodes(Activ.
Hadoop3.1.1高可用完全分布式环境搭建
01-20
学习大数据技术依赖于大数据环境,搭建一个大数据环境是学习大数据很重要的一部分,话不多说,现在我们来搭建一个hadoop3.1.1高可用完全分布式环境 本环境我们用到的软件版本 cetos7,zookeeper-3.4.13.tar.gz,jdk-8u191...
【Hadoop篇02】Hadoop完全分布式环境搭建1
08-04
在本文中，我们将深入探讨如何搭建一个Hadoop完全分布式环境，这是Hadoop篇的第二部分。Hadoop是一个开源的分布式计算框架，它允许在大规模集群上处理和存储大量数据。本文将介绍如何配置和部署Hadoop的各个组件，...
hadoop HA高可用性完全分布式集群安装
11-05
本文将详细介绍如何搭建一个Hadoop HA高可用性的完全分布式集群，并提供关键步骤和注意事项。 #### Hadoop HA概述 Hadoop HA主要是指NameNode的高可用性实现方案。在传统的Hadoop架构中，NameNode是整个HDFS...
Hadoop HA 高可用之旅
记录点点滴滴
11-19 1101
Hadoop HA 高可用之旅概述HDFS-HA 集群搭建HDFS-HA 核心问题HDFS-HA 手动模式环境准备规划集群配置 HDFS-HA 集群启动 HDFS-HA 集群HDFS-HA 自动模式HDFS-HA 自动故障转移工作机制HDFS-HA 自动故障转移的集群规划配置 HDFS-HA 自动故障转移解决 NN 连接不上 JN 的问题YARN-HA 配置YARN-HA 工作机制配置 YARN-HA 集群环境准备规划集群核心问题具体配置启动 YARNHADOOP HA 的最终规划 概述 所谓 HA（Hig
【Hadoop】高可用集群搭建
你不来，再美的天地，都狼藉 ~
05-22 4792
一文带你了解Hadoop的HA高可用搭建!
hadoop高可用架构搭建
giantleech的博客
03-22 298
hadoop高可用架构搭建 准备环境 准备三台虚拟机，安装jdk、hadoop、zookeeper。并配置免密访问，保证 Hadoop 完全分布式和 ZooKeeper 完全分布式环境已经安装完成。 HDFS-HA 集群配置 可以先配置一台虚拟机，然后把文件传给其他虚拟机，也可以用工具，同时修改三个虚拟机 配置 core-site.xml 文件 hadoop.tmp.dir 的value填写实际对应的hadoop文件的安装路径 <configuration> <!-- 把两个 NameNo
搭建Hadoop高可用集群
m0_52474839的博客
01-02 1288
Hadoop数据分析项目“环境搭建”环境要求搭建步骤打开vmvare，将一个主节点虚拟机，克隆两台从节点虚拟机点击Slave**下载hadoop，jdk等**将hadoop改名****更改环境配置****Master节点配置Hadoop信息**修改core-site.xml修改hdfs-site.xml修改文件mapred-site.xml修改文件 yarn-site.xmlMaster主节点执行****Slave从节点执行如下命令**接着修改从节点环境变量可能有同学看了好多教程，好多优秀的没有配置从节点的
Hadoop分布式环境搭建：完全分布式与伪分布式指南
在完全分布式模式下，Hadoop集群通常会配置高可用性组件，如ZooKeeper，以保证服务的稳定性和可靠性。 2. 伪分布式模式： 伪分布式模式使用单一节点模拟整个分布式环境，即一台机器上同时运行NameNode和DataNode...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值