七、Hadoop系统应用之搭建Hadoop高可用集群(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

Hadoop集群搭建前安装准备参考:
一、Hadoop系统应用之安装准备(一)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
一、Hadoop系统应用之安装准备(二)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
Hadoop集群搭建过程参考:
二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)

一、Hadoop高可用集群简介

在高可用HDFS中,通常有两台或两台以上机器充当NameNode,无论何时,都要保证至少有一台处于活动(Active)状态,一台处于备用(Standby)状态。Zookeeper为HDFS集群提供自动故障转移的服务,给每个NameNode都分配一个故障恢复控制器(简称ZKFC),用于监控NameNode状态。若NameNode发生故障,Zookeeper通知备用NameNode启动,使其成为活动状态处理客户端请求,从而实现高可用。

前面搭建的Hadoop集群部署情况如下所示。
在这里插入图片描述

HDFS的高可用集群是由三台虚拟机部署,具体部署情况如下所示。
在这里插入图片描述

二、Hadoop高可用集群的搭建

1、重新布置三个服务器

在服务器的Hadoop集群的搭建过程中,可参考前面提供的操作实验文档:
一、Hadoop系统应用之安装准备(一)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
一、Hadoop系统应用之安装准备(二)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
注意,为了方便跟前面搭建的集群进行区分,需要做以下调整:

  1. 三个节点的名称分别设为node-01、node-02和node-03;
  2. 网络配置时将三个服务器的hostname修改为node-01、node-02和node-03;
  3. 设置IP映射时,可将node-01设为192.168.121.137,node-02设为192.168.121.138,node-03设为192.168.121.139。

2、安装Zookeeper

具体操作,可参考前面提供的操作实验文档:
六、Hadoop系统应用之Zookeeper分布式协调服务(一)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
注意事项:

  1. 将三个服务器的hostname修改为node-01、node-02和node-03;
  2. 在配置文件zoo.cfg时,将对应内容设置为:
server.1=node-01:2888:3888 
server.2=node-02:2888:3888
server.3=node-03:2888:3888 
  1. 安装完成后,依次在三个节点上使用如下指令关闭防火墙与防火墙开机启动。
service iptables stop 
chkconfig iptables off

3、修改core-site.xml文件

使用如下指令进入相关路径并修改此文件:

cd /export/servers/hadoop-2.7.4/etc/hadoop
vi core-site.xml

将文件内容修改为如下部分:

<configuration>
	<!--指定hdfs的nameservice为node1-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns1</value>
	</property>
	<!--指定hadoop临时目录-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.7.4/tmp</value>
	</property>
	<!--指定zookeeper地址-->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>node-01:2181,node-02:2181,node-03:2181</value>
	</property>
</configuration>

4、修改hdfs-site.xml文件

指令如下:

vi hdfs-site.xml

将文件内容修改为如下部分:

<configuration>
        <!--设置副本个数-->
        <property>
                <name
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

七层楼的疯子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值