Hadoop之Ha高可用搭建教程

前言

随着大数据技术的不断发展，Hadoop作为开源的大数据处理框架，已经广泛应用于各种场景中。然而，在大型生产环境中，Hadoop集群的稳定性和可用性显得尤为重要。为了保障Hadoop集群的高可用性（HA），我们需要采用一系列的技术和策略。本文将重点介绍Hadoop集群的HA高可用方案。

一、Hadoop集群HA高可用概述

Hadoop集群的HA高可用主要指的是在集群中的关键组件出现故障时，能够自动切换到其他节点继续提供服务，从而确保整个集群的稳定运行。

二、集群规模

Hadoop HA高可用集群规划 - 三节点（master, slave1, slave2）

组件	master	slave1	slave2	描述
Hadoop
NameNode	主节点	备节点	无	主备部署，共享存储同步元数据
SecondaryNameNode	主节点	无	无	辅助NameNode，定期合并fsimage和edits log
ResourceManager	主节点	备节点	无	主备部署，实现资源管理和任务调度
DataNode	有	有	有	存储实际数据，参与数据块的读写操作
NodeManager	有	有	有	负责管理容器生命周期，与ResourceManager通信

三、配置zookeeper集群

1.解压zookeeper安装包

tar -zxvf zookeeper-3.4.6.tar.gz -C /usr/local/src

2.设置环境变量

位置：vi /.bash_profile

添加环境变量

export ZK_HOME=/usr/local/src/zookeeper
export PATH=$PATH:$ZK_HOME/bin

3.配置zoo.cfg配置文件

先创建存放ZK的数据文件和配置文件的zkdata目录mkdir zkdata
配置zoo.cfg文件，在文件中添加下面内容

dataDir=/usr/local/src/zookeeper/zkdata
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

4.分发到其他节点

scp -r zookeeper/ root@slave2:/usr/local/src

5.修改myid 配置文件

在zkdata目录中创建myid并修改

echo 1>myid (master)
echo 2>myid	(slave1)
echo 3>myid (slave2)

—master

—slave1

—slave2

6.启动并查看zookeeper状态

位置：cd /usr/local/src/zookeeper/bin
启动：./zkServer.sh start
状态：./zkServer.sh status

----master

----Slave1

----Slave2

zookeeper配置完成！

四、配置HA高可用

1.解压hadoop安装包

tar -zxvf hadoop-3.2.2.tar.gz -C /usr/local/src 

2.添加环境变量

export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

3.修改配置文件

位置：/usr/local/src/hadoop/etc/hadoop
（1）core-site.xml

<configuration>
<!-- hdfs分布式文件系统名字/地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <!--存放namenode、datanode数据的根路径 -->
    <property><