Hadoop-HA 高可用集群

于 2019-03-18 22:14:54 发布
阅读量465 收藏
点赞数
分类专栏： Hadoop 文章标签： Hadoop-HA高可用集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Alano1994/article/details/88651633
版权
本文详细介绍了Hadoop-HA高可用集群的架构和搭建过程，包括HDFS和YARN的HA集群配置。在HA集群中，Zookeeper负责监控和主备切换，确保业务连续性。当NameNode出现问题时，StandbyNameNode通过JournalNode进行日志同步以接管。在环境搭建部分，涵盖了CentOS、JDK、Zookeeper、Hadoop的安装配置，以及解决可能遇到的问题，如‘脑裂’保护机制。最后，展示了YARN集群的启动和ResourceManager的HA状态。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hadoop HA高可用集群

一、HA集群

HDFS HA集群 master\slave
YARN HA集群 master\slave

HA(High Available), 高可用性群集，是保证业务连续性的有效解决方案，避免了因为单点故障带来的风险，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点，各节点之间会传递心跳信息确认对方是否运行正常。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。

架构图

在这里插入图片描述

在HA集群中zookeeper 负责检测调动各个节点的运行和主备切换，HA中没有了SecondoryNameNode 取而代子的是一个StandbyNameNode 备机 在主机出现问题是进项切换 主备之间通过日志服务JournalNode 来进行日志同步保证数据一致

二、环境搭建

软件

  • CentOS-6.5 64 bit
  • jdk-8u181-linux-x64.rpm
  • hadoop-2.6.0.tar.gz
  • zookeeper-3.4.6.tar.gz

节点

node1node2node3
ActiveNameNodeY
StandbyNameNodeY
ResourceManagerYY
DataNodeYYY
ZookeeperYYY
JournalNodeYYY
ZkFailoverControllerYY
NodeManageYYY
基础配置
  • 修改主机名
vi /etc/hostname
# 修改主机名
node1 
# 重启
reboot
  • 主机名和IP映射关系
vi /etc/hosts
##########################
127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4
::1     localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.23.137 node1
192.168.23.138 node2
192.168.23.139 node3
  • 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
  • SSH免密登陆
# 生成秘钥公钥
[root@nodeX ~]# ssh-keygen -t rsa
#将秘钥公钥交给各个节点
[root@nodeX ~]# ssh-copy-id node1
[root@nodeX ~]# ssh-copy-id node2
[root@nodeX ~]# ssh-copy-id node3
  • 同步时钟
[root@nodeX ~]# date -s '2018-12-1 20:06:00'
2018年 12月 01日 星期六 20:06:00 CST
[root@nodeX ~]# clock -w
[root@nodeX ~]# date
2018年 12月 01日 星期六 20:06:09 CST
  • 安装JDK并配置环境变量
[root@nodeX ~]# rpm -ivh jdk-8u181-linux-x64.rpm
[root@nodeX ~]# vi .bashrc
JAVA_HOME=/usr/java/latest
CLASSPATH=.
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME
export CLASSPATH
export PATH
[root@nodeX ~]# source .bashrc
  • 安装ZooKeeper集群并启动
[root@nodeX ~]# tar -zxf zookeeper-3.4.6.tar.gz -C /usr/
[root@nodeX ~]# vi /usr/zookeeper-3.4.6/conf/zoo.cfg
tickTime=2000
dataDir=/root/zkdata
clientPort=2181
initLimit=5
syncLimit=2
server.1=node1:2887:3887
server.2=node2:2887:3887
server.3=node3:2887:3887
#dataDir资源文件
[root@nodeX ~]# mkdir /root/zkdata
#利用管道命令将序号写入文件
[root@node1 ~]# echo 1 >> /root/zkdata/myid
[root@node2 ~]# echo 2 >> /root/zkdata/myid
[root@node3 ~]# echo 3 >> /root/zkdata/myid
[root@nodeX zookeeper-3.4.6]# ./bin/zkServer.sh start zoo.cfg
JMX enabled by default
Using config: /usr/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@nodeX zookeeper-3.4.6]# ./bin/zkServer.sh status zoo.cfg

#####还有确保zk服务的编号和节点的序号保持一致
#譬如node1定义的序号为1，它的myid文件中必须为1
#node2序号为2，它的myid必须为2  server.序号=host:通信端口:选举端口

  • 安装配置Hadoop

    [root@nodeX ~]# tar -zxf hadoop-2.6.0_x64.tar.gz -C /usr/
[root@nodeX ~]# vi .bashrc
HADOOP_HOME=/usr/hadoop-2.6.0
JAVA_HOME=/usr/java/latest
CLASSPATH=.
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export CLASSPATH
export PATH
export HADOOP_HOME
[root@nodeX ~]# source .bashrc

    • 修改配置文件core-site.xml

      [root@nodeX ~]# vi /usr/usr/hadoop-2.6.0/etc/hadoop/core-site.xml
##########################
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/hadoop-2.6.0/hadoop-${user.name}</value>
</property>
<property>
  <name>fs.trash.interval</name>
  <value>30</value>
</property>
<property>
<name>net.topology.script.file.name</name>
  <value>/usr/hadoop-2.6.0/etc/hadoop/rack.sh</value>
</property>

    • 创建机架脚本文件,该脚本可以根据IP判断机器所处的物理位置

      [root@nodeX ~]# vi /usr/hadoop-2.6.0/etc/hadoop/rack.sh
while [ $# -gt 0 ] ; do
nodeArg=$1
exec</usr/hadoop-2.6.0/etc/hadoop/topology.data
result=""
while read line ; do
ar=( $line )
if [ "${ar[0]}" = "$nodeArg" ] ; then
result="${ar[1]}"
fi
done
shift
if [ -z "$result" ] ; then
echo -n "/default-rack"
else
echo -n "$result "
fi
done
[root@nodeX ~]# chmod u+x /usr/hadoop-2.6.0/etc/hadoop/rack.sh
[root@nodeX ~]# vi /usr/hadoop-2.6.0/etc/hadoop/topology.data
192.168.23.137 /rack1
192.168.23.138 /rack1
192.168.23.139 /rack2
[root@nodeX ~]# /usr/hadoop-2.6.0/etc/hadoop/rack.sh 192.168.23.137
/rack1

    • 修改配置文件hdfs-site.xml

      [root@nodeX ~]# vi /usr/hadoop-2.6.0/etc/hadoop/hdfs-site.xml
###############################
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>
<property>
    <name>ha.zookeeper.quorum</name>
    <value>node1:2181,node2:2181,node3:2181</value>
</property>
<property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
</property>
<property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>node1:9000</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>node2:9000</value>
</property>
<property>
    <name>dfs.namenode.shared.edits.dir</name>    
    <value>qjournal://node1:8485;node2:8485;node3:8485/mycluster</value>
</property>
<property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
</property>
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>

    • 修改配置文件slaves

      [root@nodeX ~]# vi /usr/hadoop-2.6.0/etc/hadoop/slaves
node1
node2
node3
HDFS启动
[root@nodeX ~]# hadoop-daemon.sh start journalnode //等上10秒钟，再进行下一步操作
[root@node1 ~]# hdfs namenode -format
[root@node1 ~]# hadoop-daemon.sh start namenode
[root@node2 ~]# hdfs namenode -bootstrapStandby （下载active的namenode元数据）
[root@node2 ~]# hadoop-daemon.sh start namenode
[root@node1|2 ~]# hdfs zkfc -formatZK （可以在node1或者node2任意一台注册namenode信息）
[root@node1 ~]# hadoop-daemon.sh start zkfc (哨兵)
[root@node2 ~]# hadoop-daemon.sh start zkfc (哨兵)
[root@nodeX ~]# hadoop-daemon.sh start datanode

出现问题：主机NameNode出现问题备机不会转化为主机

原因：HA集群自脑裂保护一个主机在假死状态不会让从机转化为主机避免出现两个主机运行的情况

解决：

如果是centos6.5 妥妥的，照着文档搭建

如果是centos7下载（yum install -y psmisc）真正的杀死NameNode进程，照着文档搭建

效果图：

主机：

在这里插入图片描述

从机：
在这里插入图片描述

安装配置Yarn集群

  • 修改配置文件mapred-site.xml

    [root@nodeX ~]# vi /usr/hadoop-2.6.0/etc/hadoop/mapred-site.xml
################
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

  • 修改配置文件yarn-site.xml

    [root@nodeX ~]# vi /usr/hadoop-2.6.0/etc/hadoop/yarn-site.xml
#################################
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>cluster1</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>node2</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>node3</value>
</property>
<property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>node1:2181,node2:2181,node3:2181</value>
</property>

  • 启动YARN

    [root@node2 ~]# yarn-daemon.sh start resourcemanager
[root@node3 ~]# yarn-daemon.sh start resourcemanager
[root@nodeX ~]# yarn-daemon.sh start nodemanager

  • 查看ResourceManager HA状态

    [root@node1 ~]# yarn rmadmin -getServiceState rm1
active
[root@node1 ~]# yarn rmadmin -getServiceState rm2
standby
[root@node1 ~]# jps

    三个节点运行进程状态图：
    在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值