搭建ZK集群并使用shell指令

1.从官网下载zookeeper-3.4.10.tar.gz

在这里插入图片描述

2.在压缩包上传到虚拟机
在这里插入图片描述

3.解压到指定目录

tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

在这里插入图片描述

4.在/opt/module/zookeeper-3.4.10/这个目录上创建zkData文件夹

mkdir zkData

在这里插入图片描述

5.将/opt/module/zookeeper-3.4.10/conf这个路径下的zoo_sample.cfg修改为zoo.cfg

mv zoo_sample.cfg zoo.cfg

在这里插入图片描述

6.打开zoo.cfg文件,修改dataDir路径

vim zoo.cfg

在这里插入图片描述

7.启动Zookeeper并查看状态

bin/zkServer.sh start
jps

在这里插入图片描述

8.在zkData编辑myid文件,

vi myid

在这里插入图片描述

9.配置zoo.cfg文件,添加以下配置

在这里插入图片描述

10.同步/opt/module/zookeeper-3.4.10目录内容到hadoop103、hadoop104,并修改hadoop103、hadoop104的myid为3、4

Mysync /opt/module/zookeeper-3.4.10/

11.分别启动Zookeeper并查看状态
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

### Flink 1.8.1 HA集群搭建与配置 #### 准备工作 为了构建一个高可用(HA)的Flink集群,需先准备好基础环境。这包括但不限于Java运行环境(JRE),因为Flink基于JVM之上运作[^1]。 #### 下载解压Flink包 前往Apache Flink官方网站下载页面获取指定版本(即1.8.1版)压缩文件,将其放置于服务器上适当位置后解压缩。此过程可通过命令行工具完成,例如`wget`用于下载以及`tar -zxvf flink-1.8.1-bin-hadoop27.tgz`来解压软件包。 #### 修改配置文件实现HA支持 编辑位于`$FLINK_HOME/conf/`目录下的`flink-conf.yaml`文件以启用ZooKeeper作为协调服务提供者从而达到高可用目的: ```yaml high-availability: zookeeper high-availability.zookeeper.quorum: zk01:2181,zk02:2181,zk03:2181 high-availability.storageDir: hdfs:///flink/recovery/ jobmanager.high-availability选项可根据实际需求调整为其他存储系统路径;此处仅作示例说明. ``` 上述设置指定了使用ZooKeeper管理元数据,定义了三个节点组成的Quorum地址列表,同时设置了持久化状态信息所使用的HDFS路径。 #### 启动JobManager和服务进程 启动前确认所有依赖项均已就绪,特别是已正确安装配置好ZooKeeper集群和HDFS分布式文件系统。之后可以依次执行如下Shell脚本来激活各个组件: ```bash ./bin/jobmanager.sh start cluster ``` 该指令会自动连接至先前设定好的ZooKeeper实例,尝试选举出Leader角色负责接收提交的任务请求. #### 提交应用程序 当整个架构稳定运行后即可通过CLI客户端或者其他方式上传打包后的作业给定调度器处理。具体操作方法参见官方文档关于如何向集群发送任务的部分描述.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值