ZK部署

Zookeeper的安装和配置十分简单, 既可以配置成单机模式, 也可以配置成集群模式. 下面将分别进行介绍.

单机模式
点击这里下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的conf子目录, 创建zoo.cfg:
tickTime=2000    
dataDir=/Users/apple/zookeeper/data    
dataLogDir=/Users/apple/zookeeper/logs    
clientPort=4180   

参数说明:
tickTime: zookeeper中使用的基本时间单位, 毫秒值.
dataDir: 数据目录. 可以是任意目录.
dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置.
clientPort: 监听client连接的端口号.
至此, zookeeper的单机模式已经配置好了. 启动server只需运行脚本:
bin/zkServer.sh start  
 Server启动之后, 就可以启动client连接server了, 执行脚本:
bin/zkCli.sh -server localhost:4180  
伪集群模式
所谓伪集群, 是指在单台机器中启动多个zookeeper进程, 并组成一个集群. 以启动3个zookeeper进程为例.

将zookeeper的目录拷贝2份:
|--zookeeper0  
|--zookeeper1  
|--zookeeper2  

 更改zookeeper0/conf/zoo.cfg文件为:
tickTime=2000    
initLimit=5    
syncLimit=2    
dataDir=/Users/apple/zookeeper0/data    
dataLogDir=/Users/apple/zookeeper0/logs    
clientPort=4180  
server.0=127.0.0.1:8880:7770    
server.1=127.0.0.1:8881:7771    
server.2=127.0.0.1:8882:7772  
新增了几个参数, 其含义如下:
initLimit: zookeeper集群中的包含多台server, 其中一台为leader, 集群中其余的server为follower. initLimit参数配置初始化连接时, follower和leader之间的最长心跳时间. 此时该参数设置为5, 说明时间限制为5倍tickTime, 即5*2000=10000ms=10s.
syncLimit: 该参数配置leader和follower之间发送消息, 请求和应答的最大时间长度. 此时该参数设置为2, 说明时间限制为2倍tickTime, 即4000ms.
server.X=A:B:C 其中X是一个数字, 表示这是第几号server. A是该server所在的IP地址. B配置该server和集群中的leader交换消息所使用的端口. C配置选举leader时所使用的端口. 由于配置的是伪集群模式, 所以各个server的B, C参数必须不同.
参照zookeeper0/conf/zoo.cfg, 配置zookeeper1/conf/zoo.cfg, 和zookeeper2/conf/zoo.cfg文件. 只需更改dataDir, dataLogDir, clientPort参数即可.

在之前设置的dataDir中新建myid文件, 写入一个数字, 该数字表示这是第几号server. 该数字必须和zoo.cfg文件中的server.X中的X一一对应.
/Users/apple/zookeeper0/data/myid文件中写入0, /Users/apple/zookeeper1/data/myid文件中写入1, /Users/apple/zookeeper2/data/myid文件中写入2.

分别进入/Users/apple/zookeeper0/bin, /Users/apple/zookeeper1/bin, /Users/apple/zookeeper2/bin三个目录, 启动server.
任意选择一个server目录, 启动客户端:
bin/zkCli.sh -server localhost:4180  
集群模式
集群模式的配置和伪集群基本一致.
由于集群模式下, 各server部署在不同的机器上, 因此各server的conf/zoo.cfg文件可以完全一样.
下面是一个示例:
tickTime=2000    
initLimit=5    
syncLimit=2    
dataDir=/home/zookeeper/data    
dataLogDir=/home/zookeeper/logs    
clientPort=4180  
server.43=10.1.39.43:2888:3888  
server.47=10.1.39.47:2888:3888    
server.48=10.1.39.48:2888:3888  
示例中部署了3台zookeeper server, 分别部署在10.1.39.43, 10.1.39.47, 10.1.39.48上. 需要注意的是, 各server的dataDir目录下的myid文件中的数字必须不同.

10.1.39.43 server的myid为43, 10.1.39.47 server的myid为47, 10.1.39.48 server的myid为48.



### 使用 Zookeeper 配置 Flink 单作业模式部署 #### 1. 安装并配置 Zookeeper 为了确保高可用性 (HA),Flink 可以利用 Zookeeper 进行 JobManager 的选举以及提供一致性的协调服务。因此,首先需要安装和配置 Zookeeper。 - 下载并解压 Zookeeper 到指定目录。 - 修改 `zoo.cfg` 文件中的数据存储路径和其他必要参数。 - 启动 Zookeeper 实例。 ```bash tar -zxvf zookeeper-version.tar.gz cd zookeeper-version/conf/ cp zoo_sample.cfg zoo.cfg vim zoo.cfg # 编辑配置文件 bin/zkServer.sh start ``` #### 2. 设置 Flink HA 参数 编辑 Flink 的配置文件 `flink-conf.yaml`,加入如下设置以便启用基于 Zookeeper 的 HA 功能[^2]: ```yaml high-availability: zookeeper high-availability.zookeeper.quorum: localhost:2181 high-availability.storageDir: hdfs://namenode:8020/flink/recovery jobmanager.high-availability.fencing-token-provider.class: org.apache.flink.runtime.jobmaster.token.ZooKeeperTokenProvider ``` 这里假设 HDFS 已经作为外部持久化存储存在;如果使用其他类型的分布式文件系统,则需相应调整 `storageDir` 路径。 #### 3. 提交应用程序到 YARN 并指定 Application 模式 由于 Per-Job 模式已经被标记为过时,建议采用 Application 模式来提交应用至 YARN。这会创建一个专用于该任务的应用程序实例[^1]。 ```bash ./bin/flink run-application \ -D jobmanager.execution.failover-strategy=region \ -t yarn-application \ -p 4 \ ./examples/batch/WordCount.jar --input /path/to/input --output /path/to/output ``` 上述命令通过 `-t yarn-application` 参数指定了 application 模式的执行方式,并设置了并发度 (`-p`) 和输入输出路径等选项。 #### 4. 监控与维护 一旦成功启动后,可以通过 Flink Web UI 或者日志查看当前集群的状态。对于任何异常情况,应该及时处理以保持系统的稳定性和可靠性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值