Hadoop集群搭建前安装准备参考:
一、Hadoop系统应用之安装准备(一)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
一、Hadoop系统应用之安装准备(二)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
Hadoop集群搭建过程参考:
二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
文章目录
一、Hadoop高可用集群简介
在高可用HDFS中,通常有两台或两台以上机器充当NameNode,无论何时,都要保证至少有一台处于活动(Active)状态,一台处于备用(Standby)状态。Zookeeper为HDFS集群提供自动故障转移的服务,给每个NameNode都分配一个故障恢复控制器(简称ZKFC),用于监控NameNode状态。若NameNode发生故障,Zookeeper通知备用NameNode启动,使其成为活动状态处理客户端请求,从而实现高可用。
前面搭建的Hadoop集群部署情况如下所示。
HDFS的高可用集群是由三台虚拟机部署,具体部署情况如下所示。
二、Hadoop高可用集群的搭建
1、重新布置三个服务器
在服务器的Hadoop集群的搭建过程中,可参考前面提供的操作实验文档:
一、Hadoop系统应用之安装准备(一)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
一、Hadoop系统应用之安装准备(二)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
二、Hadoop系统应用之Hadoop集群搭建(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
注意,为了方便跟前面搭建的集群进行区分,需要做以下调整:
- 三个节点的名称分别设为node-01、node-02和node-03;
- 网络配置时将三个服务器的hostname修改为node-01、node-02和node-03;
- 设置IP映射时,可将node-01设为192.168.121.137,node-02设为192.168.121.138,node-03设为192.168.121.139。
2、安装Zookeeper
具体操作,可参考前面提供的操作实验文档:
六、Hadoop系统应用之Zookeeper分布式协调服务(一)(超详细步骤指导操作,WIN10,VMware Workstation 15.5 PRO,CentOS-6.7)
注意事项:
- 将三个服务器的hostname修改为node-01、node-02和node-03;
- 在配置文件zoo.cfg时,将对应内容设置为:
server.1=node-01:2888:3888
server.2=node-02:2888:3888
server.3=node-03:2888:3888
- 安装完成后,依次在三个节点上使用如下指令关闭防火墙与防火墙开机启动。
service iptables stop
chkconfig iptables off
3、修改core-site.xml文件
使用如下指令进入相关路径并修改此文件:
cd /export/servers/hadoop-2.7.4/etc/hadoop
vi core-site.xml
将文件内容修改为如下部分:
<configuration>
<!--指定hdfs的nameservice为node1-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<!--指定hadoop临时目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/export/servers/hadoop-2.7.4/tmp</value>
</property>
<!--指定zookeeper地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>node-01:2181,node-02:2181,node-03:2181</value>
</property>
</configuration>
4、修改hdfs-site.xml文件
指令如下:
vi hdfs-site.xml
将文件内容修改为如下部分:
<configuration>
<!--设置副本个数-->
<property>
<name