Hadoop HA部署（阿里云）

阿里云Hadoop集群高可用部署实践

最新推荐文章于 2024-09-29 17:10:46 发布

原创

最新推荐文章于 2024-09-29 17:10:46 发布 · 1w 阅读

4 ·

CC 4.0 BY-SA版权

文章预览：

1.阿里云添加实例（3台）

点击控制台
在这里插入图片描述
进入云服务器ECS

点击创建实例

选择按量付费，区域以及资源大小，完成之后点击下一步

在这里插入图片描述
默认点下一步

点击下一步，其它的参照下图配置

默认点下一步

检查箭头所指几项，创建实例

2.前置环境配置

在web界面中的运维管理里边开放相关（也可以是所有）端口

1.关闭防火墙

3台全做

[root@ruozedata001 ~]# systemctl stop firewalld
[root@ruozedata001 ~]# systemctl disable firewalld
[root@ruozedata001 ~]# setenforce 0
[root@ruozedata001 ~]# iptables -F

修改selinux配置文件为disabled，永久禁用
在这里插入图片描述

2.添加hadoop用户

3台全做

[root@ruozedata001 ~]# useradd hadoop
[root@ruozedata001 ~]# echo "123456" | passwd --stdin hadoop

3.配置host映射

添加hosts映射

[root@ruozedata001 ~]# echo "192.168.153.101 ruozedata001" >> /etc/hosts
[root@ruozedata001 ~]# echo "192.168.153.102 ruozedata002" >> /etc/hosts
[root@ruozedata001 ~]# echo "192.168.153.103 ruozedata003" >> /etc/hosts

4.免密登录（3台）

ssh-keygen一路回车，3台都做一遍
在这里插入图片描述

ssh-copy-id 主机名将公钥分发给ruozedata001、002、003机器，3台都做一遍在这里插入图片描述
以上配置完成之后，在每台机器上的hadoop用户下分别执行ssh ruozedata001 date、ssh ruozedata002 date、ssh ruozedata003 date，如果如下图所示能直接打印出时间，则代表免密登录配置成功

3.环境部署

集群角色规划

	ruozedata001	ruozedata002	ruozedata003
ZooKeeper	✅	✅	✅
NameNode	✅	✅
DataNode	✅	✅	✅
JournalNode	✅	✅	✅
ResourceManager	✅	✅
NodeManager	✅	✅	✅
DFSZKFailoverControl	✅	✅
JobHistroyServer	✅

在hadoop用户下创建目录（3台全做）

[hadoop@ruozedata001 ~]#mkdir software app tmp data log lib shell  sourcecode

上传jdk zookeeper hadoop安装包至software下
在这里插入图片描述
装JDK不再概述，可参考我的另一篇博客hadoop部署中关于JDK的部署以及所属用户的一个坑

1.zookeeper部署

1.解压创建软连接

解压zookeeper至app目录，并创建软连接，如下图所示
在这里插入图片描述

2.写入个人环境变量

在~/.bashrc文件中写入个人环境变量，如下图
在这里插入图片描述
别忘了source ~/.bashrc文件

3.修改zoo.cfg

复制参数模板，修改zoo.cfg中如下两处参数
在这里插入图片描述

4.创建datadir目录，新建myid

在这里插入图片描述

5.分发文件

分发zookeeper文件至002和003机器，过程如下图所示
在这里插入图片描述
如3.1.1和3.1.2加入环境变量和创建软连接一样，在002和003中同样配置

6.给myid赋值

分别执行一下三条命令至001、002、003机器

echo 1 > /home/hadoop/tmp/zookeeper/myid
echo 2 > /home/hadoop/tmp/zookeeper/myid
echo 3 > /home/hadoop/tmp/zookeeper/myid

7.启动ZK集群

[hadoop@ruozedata003 bin]$ zkServer.sh  start   三台机器上分别执行

8.验证

在三台机器上分别执行zkServer.sh status查看Mode的状态，Leader或者Follow即可

[hadoop@ruozedata003 bin]$ zkServer.sh  status
JMX enabled by default
Using config: /home/hadoop/app/zookeeper/bin/../conf/zoo.cfg
Mode: leader

2. hadoop部署

1.解压创建软连接

如zookeeper一样，进入software目录，解压hadoop包至app目录
在这里插入图片描述

2.写入个人环境变量

在~/.bashrc文件中写入个人环境变量
在这里插入图片描述
同样别忘了source ~/.bashrc

3.配置文件

修改/home/hadoop/app/hadoop/etc/hadoop目录下的以下配置文件
在这里插入图片描述

1.配置core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!--Yarn 需要使用 fs.defaultFS 指定NameNode URI -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ruozeclusterg10</value>
        </property>
        <!--==============================Trash机制======================================= -->
        <property>
                <!--多长时间创建CheckPoint NameNode截点上运行的CheckPointer 从Current文件夹创建CheckPoint;默认：0 由fs.trash.interval项指定 -->
                <name>fs.trash.checkpoint.interval</name>
                <value>0</value>
        </property>
        <property>
                <!--多少分钟.Trash下的CheckPoint目录会被删除,该配置服务器设置优先级大于客户端，默认：0 不删除 -->
                <name>fs.trash.interval</name>
                <value>10080</value>
        </property>

         <!--指定hadoop临时目录, hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置，默认就放在这>个路径中 -->
        <property>