Apache Flink连载(四十一):Flink基于Kubernetes部署 - Kubernetes部署模式之Session Cluster部署-HA Session Cluster部署及测试

本文详细介绍了如何在Kubernetes上部署Apache Flink的HA Session集群,包括准备配置文件、部署yaml、验证集群状态、高可用验证、任务提交与测试以及停止集群的步骤。内容涵盖配置Hadoop类路径、使用Kubernetes协调Flink HA、配置用户角色权限等。

🏡 个人主页IT贫道-优快云博客

🚩 私聊博主:私聊博主加WX好友,获取更多资料哦~

🔔 博主个人B栈地址:豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频​​​​​​

🔥 通过B栈可以找到豹哥进行问题交流,疑难解答哦~


目录

1. 准备deployment文件

2. 部署yaml 文件

3. 验证部署情况

4. HA高可用验证

5. 任务提交与测试

6. 停止集群


通过以上基于Kubernetes 部署Flink Session集群,我们部署了1个JobManager和2个TaskManager,这里说的HA Session集群部署,就是当JobManager挂掉时,能正常切换到另外的JobManager中继续调度任务。实际上在Kubernets集群中当JobManager容器挂掉之后,Kubernetes集群会自动重新运行新的JobManager。所以基于Kubernets不部署HA 模式模式也没有问题,这里为了更快的进行恢复Flink任务,我们也可以基于Kubernetes配置HA Session模式。

配置HA Session模式与非HA Session模式相比不再需要jobmanager-server.yaml文件。

1. 准备deployment文件

  • flink-configuration-configmap.yaml

该yaml文件相比于非HA Session模式增加了以下行:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值