大数据之四 hadoop HDFS HA 高可用的完全分布式

最新推荐文章于 2024-06-03 19:59:04 发布
原创 最新推荐文章于 2024-06-03 19:59:04 发布 · 708 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Hadoop高可用（HA）集群的搭建过程，包括配置静态IP、时间同步、SSH免密登录、Zookeeper集群配置、Hadoop集群配置等关键步骤，以及如何实现NameNode的高可用性和自动故障转移。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

HDFS HA

HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备用的NameNode，从而实现对外提供更稳定的服务

SecondaryNameNode(冷备)：只是阶段性的合并edits和fsimage。当NN失效的时候，SNN无法立刻提供服务，甚至无法保证数据完整性：在SNN进行合并时，如果NN数据丢失的话，SNN也无法感知到，从而丢失部分操作

HDFS HA提供两个NameNode，一个处于active状态，对外提供服务；另一个处于standby状态，同步元数据（在内存中）。当active状态的NameNode挂掉时，standby转为active。HA 是通过代理对外提供服务，客户端请求由代理接收然后转发到active状态的NN

为了能够实时同步Active和Standby两个NameNode的元数据信息，我们将元数据状态（fsimage）和对元数据的操作（editlog）存放到 journalnode 集群中，standby状态的NN实时从JN中读取数据并执行重演，同时所有DataNode向两个NameNode都发送心跳，从而保证两个NameNode状态的同步

JNN集群遵从半数以上的势力划分，所以其节点数量总为奇数。active-NN向JNN写入editlog时，当半数以上的JNN节点存储成功则停止写入，其它JNN节点从这些已写入的节点copy editlog。正常情况下集群内各节点间保持通信，standby-NN可以从任意节点上读取到正确的数据，若是因为不可抗力而导致集群分裂（集群内节点通讯中断），此时还可以相互通信的节点组成集群小势力，那么规定势力范围（集群内节点数量）小于半数的集群提供的数据视为无效。例如现在有3个JNN，分裂成了 1+1 和 1 两股势力，那么此时即使 1 中的数据是正确的也会被视为无效，standby得知其节点数小于半数时会转而去 1+1 中读取数据

接下来，如果active状态的NN挂掉了，我们就将另一台切换为active状态。那么问题来了，active状态的NN什么时候会挂掉呢？难道我们要一直盯着服务器看吗？这当然是不可能的。这里我们用到了zookeeper作为一个管理者代替我们进行监视。当然管理员也有管理员的脾气，所以监视这种累人的工作zookeeper就交给了FailoverController。于是FailoverController就开始了兢兢业业的工作，认真的监视着两个NN，并定时向zookeeper汇报NN的状态信息。如果active的NN挂掉了，FailoverController就汇报情况给zookeeper，得知情况后的zookeeper就通知监视另一个NN的FailoverController将standby的NN转为active（如果有多个standby的NN则由zookeeper选举出一个转为active）。

那么这里有一个问题就是如果监视active状态NN的FailoverController不幸挂掉了，那么一定时间内没有得到来自FailoverController心跳的zookeeper无法得知当前active状态的NN究竟是否存活，就会认为其已经挂掉，会去选举启动一个新的active-NN，那么这时可能就会同时存在两台active-NN，这时对外提供服务的代理可能就感觉不太好了，因为它无法确定要将请求转发到哪一台active-NN上。所以当FailoverController启动新的active-NN的同时也会将原来为active状态的NN置为standby而不管其是否已经挂掉，确保同一时间avtive状态的NN只有一台

HDFS HA集群框架图

HDFS HA集群架构

集群设计

现在以四台虚拟机（centOS6.5）为例，主机名分别为node01,node02,node03,node04.
NN-1–>NameNode( active )
NN-2–>NameNode( standby )
DN–>DataNode
ZK–>zookeeper
ZKFC–>FailoverController
JNN–>journalnode
集群设计

HDFS HA搭建步骤

  1. 首先确保各节点都配置好静态IP

  2. 配置各节点的hosts，修改/etc/hosts文件

[root@node01 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.23.130 node01
192.168.23.131 node02
192.168.23.133 node03
192.168.23.134 node04

  1. 关闭各节点的防火墙
    使用 service iptables status 命令查看当前防火墙状态
    使用 service iptables stop 暂时关闭防火墙（防火墙会在下次开机时启动）
    使用 chkconfig iptables off 永久关闭防火墙（该命令在下次重启时生效）

  2. 时间同步
    首先在各个节点上使用 yum install ntp 安装ntp命令
    执行 ntpdate ntp1.aliyun.com 来同步时间（这里使用阿里云服务器的时间）

  3. 配置SSH免密登录
    在所有节点上执行ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
    如果安装的虚拟机是 minimal 模式，则在各个节点上执行 yum install -y openssh-clients
    在node01节点上执行以下命令（将node01的公钥加入到其他节点的白名单中

    ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04

在node02节点上执行如下命令（将node02的公钥加入node01，即配置node02免密登录node01，从而实现两个NameNode节点免密登录，方便主NameNode挂掉时 standby转active）

ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
  1. 所有节点安装配置JDK
    所有节点在 /etc/profile 或 ~/.bashrc 中配置JDK环境变量
export JAVA_HOME=/opt/zgl/jdk1.8.0_151		<!-- 你的JDK的实际位置 -->
export PATH=$PATH:$JAVA_HOME/bin

刷新文件使配置生效 source /etc/profile

  1. 下载zookeeper安装包并解压，这里以 zookeeper-3.4.12 为例。zookeeper是运行在 node02，node03 和 node04 上的，这里我们先将安装包放在node02上进行配置，配置结束后发送到 node03 和 node04

  2. 将 zookeeper 安装包下 conf 目录下的 zoo_simple.cfg 修改为 zoo.cfg

[root@node02 conf]# mv  zoo_simple.cfg  zoo.cfg
  1. 修改 zoo.cfg 文件，修改 dataDir 的位置（随意修改）并添加服务配置，其中1、2、3是zookeeper的服务编号，后面是对应服务器的主机名
dataDir=/var/zgl/zookeeper
server.1=node02:2888:3888
server.2=node03:2888:3888
server.3=node04:2888:3888
  1. 在 dataDir 声明的目录下创建一个myid文件，在这个文件中写上当前节点所对应的服务ID号。当前为 node02 节点，由上配置 server.1=node02:2888:3888 确定服务ID号为 1
[root@node02 ~]# cat /var/zgl/zookeeper/myid 
1
  1. 将配置好的zookeeper安装包发送到node03 node04（注意目录对应）
[root@node02 zgl]# scp -r zookeeper-3.4.12 root@node03:/opt/zgl/
[root@node02 zgl]# scp -r zookeeper-3.4.12 root@node04:/opt/zgl/

  1. 在node03，node04 上分别修改 myid 中的 ID号。node03–>2，node04–>3

  2. 在 node02 node03 node04 上配置zookeeper的环境变量，这里配置到用户环境中，在 ~/.bashrc 文件中添加如下

export PATH=$PATH:/opt/zgl/zookeeper-3.4.12/bin
  1. 在 node02 node03 node04 上执行 zkServer.sh start 命令启动 zookeeper。
    使用 jps 命令查看，如果 QuorumPeerMain 进程启动则配置成功，成功后一直开着就好
[root@node04 zgl]# jps
22035 QuorumPeerMain
23100 Jps

  1. 下载 hadoop 安装包并解压，这里以 hadoop-2.6.5为例，先在 node01 上进行配置，配置完成后发送到其他节点

  2. 修改 hdfs-site.xml 文件

<property>
        <name>dfs.nameservices</name>			<!-- 配置一个服务(集群名称) -->
        <value>mycluster</value>
</property>

<property>
        <name>dfs.ha.namenodes.mycluster</name>		<!--  提供服务的节点 -->
        <value>nn1,nn2</value>
</property>

<!-- 配置两个NameNode的rpc协议的地址和端口 -->
<property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>node01:8020</value>
</property>
<property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>node02:8020</value>
</property>

<!-- 配置两个NameNode的http协议的地址和端口 -->
<property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>node01:50070</value>
</property>
<property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>node02:50070</value>
</property>

<!-- 设置journalnade的位置信息 -->
<property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>

<!-- journalnade保存数据用的目录-->
<property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/var/zgl/hadoop/ha/jn</value>
</property>

<!-- 通过代理类来让客户端连接active的NameNode -->
<property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 通过远程登录，杀掉失联的 NameNode来保证只有一个active的NameNode（前提已经设置了免密登录） -->
<property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
</property>
<property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
</property>

<!--配置NameNode的自动切换的开关 -->
<property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
</property>
  1. 修改core-site.xml 文件
<property>
   	<name>fs.defaultFS</name>	<!--  HDFS文件默认地址前缀（简化实际访问时路径书写） -->
  	<value>hdfs://mycluster</value>
</property>

<!--配置三台zookeeper的位置信息 -->
<property>
   	<name>ha.zookeeper.quorum</name>
   	<value>node02:2181,node03:2181,node04:2181</value>
</property>

<property>
       <name>hadoop.tmp.dir</name>	<!-- HDFS文件存储位置 -->
       <value>/var/zgl/hadoop/cluster</value>
</property>
  1. 修改slaves配置文件。配置DataNode节点，注意每行写一个
node02
node03
node04
  1. 修改hadoop-env.sh配置文件
# 导入java home
export JAVA_HOME=/opt/zgl/jdk1.8.0_151
# 在hadoop-env.sh 配置一条hadoop配置文件所在目录
export HADOOP_CONF_DIR=/opt/zgl/hadoop-2.6.5/etc/hadoop

刷新文件使配置生效 source hadoop-env.sh

  1. 将配置好的hadoop安装包分发到其他节点上
    使用 scp 命令将hadoop安装包分发到其他节点,注意其他节点提前建好目录且与node01目录（名称，层级）保持一致
    eg: node01 /opt/zgl/hadoop-2.6.5 其他节点 /opt/zgl
  scp -r hadoop-2.6.5 root@node02:/opt/zgl/
  scp -r hadoop-2.6.5 root@node03:/opt/zgl
  scp -r hadoop-2.6.5 root@node04:/opt/zgl/
  1. 在各个节点上配置 hadoop 环境变量
vim ~/.bashrc

export HADOOP_HOME=/opt/zgl/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bashrc
  1. 确认关闭所有节点上的HDFS相关进程，在 node01 上执行
stop-dfs.sh
  1. 启动所有journalnode，在node01、node02、node03分别执行如下命令
hadoop-daemon.sh start journalnode
  1. 随机选择一台NameNode，这里在 node01 上执行初始化并启动active-NN
  hdfs namenode -format	//格式化
  hadoop-daemon.sh start namenode	//启动 namanode
  1. 另外一台NameNode（node02）节点执行同步active-NN的元数据
hdfs namenode  -bootstrapStandby
  1. 在 node01 或 node02 上初始化zookeeper
hdfs zkfc -formatZK
  1. 再次关闭所有节点上的HDFS相关进程
stop-dfs.sh
  1. 在 node01上启动HDFS集群
start-dfs.sh
  1. 在各个节点上使用 jps 查看启动进程
[root@node01 zgl]# jps
4804 DFSZKFailoverController
4666 JournalNode
4476 NameNode

[root@node02 ~]# jps
23217 DataNode
23155 NameNode
23301 JournalNode
23385 DFSZKFailoverController
22410 QuorumPeerMain

[root@node03 hadoop]# jps
3697 DataNode
3765 JournalNode
3068 QuorumPeerMain

[root@node04 zgl]# jps
22035 QuorumPeerMain
22454 DataNode
  1. 通过hadoop提供的 web UI 来进行查看
    打开浏览器，输入http://192.168.23.130:50070（因为主机 hosts 文件中并未配置node01，所以这里不能使用 http://node01:50070来访问），然后我们就来到如下页面，可以看到当前 node01 为active状态
    node01

再输入http://192.168.23.131:50070查看 node02 为 standby状态
node02

然后我们在 node01 上使用 kill 停止NameNode 进程，刷新页面发现 node02 状态变为active
切换

思维导图

HA

hadoop集群环境搭建之高可用的完全分布式集群环境搭建
qq_39131779的博客
10-12 613
搭建集群的模式有三种 1.伪分布式：在一台服务器上，启动多个线程分别代表多个角色(因为角色在集群中使用进程表现的) 2.完全分布式：在多台服务器上，每台服务器启动不同角色的进程，多台服务器构成集群 3.高可用的完全分布式 本次搭建是在完全分布式的基础上搭建的，完全分布式请看 完全分布式的搭建. . 首先为什么会提出高可用的完全分布式呢？ 因为以往的架构，毕竟是单节点(namenode),...
大数据框架hadoop——HDFS高可用
蚂蚁
07-25 320
Hadoop1.x存在的不足 问题一：如何保证HDFS高可用性 现象：NameNode只有一个，Client访问HDFS的时候，都需要找到NameNode（读：文件在哪里，写：文件写到哪里），如果NameNode挂掉了怎么办？？？ 解决：2个NameNode，一个是Active，一个是standby，这2个NameNode的元数据是一样的。 问题二：联盟Federation 现象：NameNode...
HDFS高可用完全分布式
cway的博客
10-13 285
Hadoop HA 高可用
u012321968的博客
08-20 268
HA概述 所谓HA（High Available），即高可用（7*24小时不中断服务）。 实现高可用最关键的策略是消除单点故障。 HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 NameNode主要在以下两个方面影响HDFS集群 （1）NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启 （2）NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用 HDFS HA功能
hdfs完全分布式
qq_43196913的博客
07-20 273
HDFS完全分布式 `## 1、环境需求说明： -1. 三台机器的防火墙必须是关闭的. -2. 确保三台机器的网络配置畅通(NAT模式，静态IP，主机名的配置) -3. 确保/etc/hosts文件配置了ip和hostname的映射关系 -4. 确保配置了三台机器的免密登陆认证（克隆会更加方便） -5. 确保所有机器时间同步 -6. jdk和hadoop的环境变量配置 2、完全分布式文件配置 1.需要配置的文件（$HADOOP_HOME/etc/hadoop/） - core-site.xml
【Hadoop】HadoopHA高可用完全分布式搭建
Together
10-19 9874
4台节点 节点分布 一、统一配置JDK和Hadoop 在四台节点上配置好JDK以及Hadoop环境变量 二、配置免密钥 我们将node01作为管理脚本的启动节点，需要配置node01节点免密钥登录其他三台节点 1)在node01节点执行以下操作： cd ~/.ssh scp id_dsa.pub node02:`pwd`/node01.pub scp id_dsa.pub...
Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)
wudidahuanggua的博客
09-17 4039
对HDFS细致到腋毛的讲解，包括HA，完全分布式集群搭建，以及让你打瞌睡的理论知识！
14_尚硅谷大数据之HDFS HA高可用1
08-03
在Hadoop大数据环境中，HDFS（Hadoop Distributed File System）是核心组件之一，负责存储大量数据。然而，Hadoop 2.0之前的版本中，NameNode作为HDFS的关键角色，存在单点故障（Single Point of Failure, SPOF）的...
大数据思维 Hadoop HDFS基本概念【万字详细版】
最新发布
weixin_55354264的博客
06-03 1214
所谓分而治之就是将一个复杂的东西按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。（例:一家公司，老板接到一个项目，项目在丢给项目经理，项目经理在丢给我们这群苦逼码农，一层一层分解）在大数据中是以海量数据作为切入点进项讲解。所谓的海量数据处理，何为海量，就是数据量太大，跟海一样大，所以会导致我们，导致传统的计算都是去完成计算,前提就是内存能够完整的容纳所有数据。而大数据领域面对的都是 TB 级别起步的数据量。
大数据技术之HadoopHA视频教程
07-08
HA(High Available)意为高可用，在本课程中主要是Hadoop的高可用，在实际开发环境中是必不可少的技术之一。你将通过本课程学习到，Hadoop存在的单点故障问题，解决单点故障的方案，搭建手动故障转移的HDFS-HA集群，...
HDFS完全分布式配置
工作点滴
07-25 733
准备阶段，每个节点安装jdk，配置环境变量，注意安装的位置要一致 注意： 1.每台机器的防火墙关闭 2.每台机器配置时间自动同步，或者简单点每台机器时间保持一致（相差不超过30秒） yum -y install ntpdate /usr/sbin/ntpdate -u pool.ntp.org                 */10 * * * *  /usr/sbin/ntpdat
HDFS完全分布式搭建(HA搭建)
weixin_46373361的博客
04-09 281
完全分布式搭建完全分布式HDFSHadoop HA搭建core-site.xmlhdfs-site.xml 完全分布式HDFS 配置java环境变量 rpm -ivh jdk-8u191-linux-x64.rpm 配置环境变量vim /etc/profile node1 node2 node3 node4 NameNode SecondaryNameNode DataNode-1 DataNode-2 DataNode-3 a、首先在四台服务器上都要执行：ssh-keyge
HDFS完全分布式搭建
weixin_45808483的博客
08-01 290
目录 规划 搭建步骤 1.免密钥设置 2.安装并配置 3.格式化并启动 4.停止 规划 node1 node2 node3 node4 NameNode SecondaryNameNode DataNode-1 DataNode-2 Dat
搭建HDFS完全分布式
(:
09-16 553
文章目录搭建HDFS完全分布式1.创建hadoop101节点（主节点）1.1 基本信息配置1.2 安装JDK1.3 安装hadoop2. 创建子节点2.1 克隆2.2 配置网络信息2.3 修改主机名3.拷贝文件3.1 脚本4.集群配置4.1 集群规划4.2 配置集群4.2.1 配置.sh文件4.2.2 配置xml文件4.2.3 配置日志聚集功能和历史服务器5.启动集群6. SSH无密码登入配置7. 启动集群7.1 群起集群的命令8. 集群时间同步9. 测试新增机器 搭建HDFS完全分布式 删除java rp
Hadoop系列-HDFS HA高可用集群
happy19870612's blog
10-23 2368
前言： 在HDFS集群的时候我们知道，NameNode只有一个，如果现在NameNode挂掉了，或者NameNode需要硬件或者软件的升级，那么势必就有单点问题。那么HDFS HA就是来解决这个问题的。 HA架构图：   集群需要考虑的问题： 1 我们要考虑两个NM之间的元数据是共享或者同步的 NM启动的时候，会去读取fsimage和 edits文件，那么备份NM也需要读取这两个文
大数据Hadoop（十四）：HDFS的高可用机制
Lansonli（蓝深李）的博客
05-27 1840
HDFS的高可用机制 HDFS高可用介绍 在Hadoop 中，NameNode 所处的位置是非常重要的，整个HDFS文件系统的元数据信息都由NameNode 来管理，NameNode的可用性直接决定了Hadoop 的可用性，一旦NameNode进程不能工作了，就会影响整个集群的正常使用。 在典型的HA集群中，两台独立的机器被配置为NameNode。在工作集群中，NameNode机器中的一个处于Active状态，另一个处于Standby状态。Active NameNode负责群集中的所有..
Hdfs安装模式之完全分布式集群
qianfeng_dashuju的博客
07-01 530
1 完全分布式模式介绍 完全分布式，指的是在真实环境下，使用多台机器，共同配合，来构建一个完整的分布式文件系统。 在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中，比如： -1. namenode守护进程尽可能的单独部署在一台硬件性能相对来说比较好的机器中。 -2. 其他的每台机器上都会部署一个datanode守护进程，一般的硬件环境即可。 -3. secondarynamenode守护进程最好不要和namenode在同一台机器上。 2 平台软件说明 - 操作系统: w
Hadoop HDFS HA高可用配置详解
文档讲述了Hadoop在大数据环境中的高可用性（HA）配置，主要关注Hadoop分布式文件系统（HDFS）和资源调度器YARN的HA实现，以及如何在Hadoop 3.2版本中搭建和管理这样的高可用集群。以下是详细的知识点总结： 1. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值