hadoop——HA集群部署

各节点布置

主机IP（需要根据自己网段进行相应修改）	主机名	描述	HDFS	YARN
192.168.209.150	master	主节点	NameNode DataNode	ResourceManager NodeManager
192.168.209.150	slave1	备用节点	NameNode DataNode	ResourceManager NodeManager
192.168.209.150	slave2	备用节点	DataNode	ResourceManager NodeManager

目录

一.环境准备

二 .设置网卡，主机名，密钥，映射

1.设置网卡

2.设置主机名

3.设置密钥

4.设置映射

三.配置JDK

1.安装JDK

2.配置环境变量

3.验证环境变量是否设置成功

 四.安装ZOOKEEPER并进行配置

1.上传ZKEEPER到/usr/local并进行解压

2.配置zookeep

3.配置zookeeper环境变量

4.启动zookeeper服务（每个节点都执行该步骤）

五. Hadoop文件配置 （上传解压Hadoop的步骤省略）

1.添加环境变量

2.修改core-site.xml

3.修改hdfs-site.xml

4.在hadoop-env.sh添加内容

5.配置 yarn-site.xml文件

6.配置mapred-site.xml文件

7.配置 slaves文件

8.分发hadoop文件到：salve1节点slave2节点

六.启动journalnode服务（三个节点都需要执行此步骤）

1.启动命令

2.检查是否启动成功

 七.启动HDFS集群

1.格式化NameNode（只需要在master节点执行）

2.单独启动NameNode

3.namenode主从信息同步(在slave1执行)

4.格式化zookeeper（只需要在master节点执行）

5.启动hadoop

八.验证HA

​编辑

---

一.环境准备

JDK， ZKEEPER ，HADOOP

二 .设置网卡，主机名，密钥，映射

1.设置网卡

首先win+R输入cmd进入命令窗口，然后输入ipconfig获取VMnet8IP信息

 输入vi /etc/sysconfig/network-scripts/ifcfg-ens33命令配置网卡

重启网卡:systemctl restart network后拼一下百度验证是否设置成功

 2.设置主机名

输入命令：hostnamectl set-hostname master，输入之后需要exit关闭重新登录，重新登录看到主机名为master就表示成功了（我的在此之前已经设置）

3.设置密钥

ssh-keygen rsa

分发密钥到master：

 ssh-copy-id -i ~/.ssh/id_rsa.pub master执行完命令之后会需要输入该主机的密码

验证是否分发成功：

 

4.设置映射

输入命令：vi /etc/hosts

 上诉步骤都需要在master，slave1，slave2执行，主机名需要相应修改。

master网卡文件信息：

 slave1网卡文件信息：

  slave2网卡文件信息：

 验证映射是否成功每个节点互相ping(只展示一个)