Apache Flink连载（四十）：Flink基于Kubernetes部署 - Kubernetes部署模式之Session Cluster部署-非HA Session Cluster部署及测试

最新推荐文章于 2026-01-08 22:00:24 发布
原创 最新推荐文章于 2026-01-08 22:00:24 发布 · 321 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#apache #flink #kubernetes

本文详细介绍了如何在Kubernetes上部署非HA的Flink Session集群，包括准备部署文件、部署yaml、验证集群状态、停止集群以及通过WebUI和客户端提交任务的测试。Flink Session集群允许在一个集群中运行多个作业，并提供了JobManager和TaskManager的配置。

🏡 个人主页：IT贫道-优快云博客

🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频​​​​​​

🔥 通过B栈可以找到豹哥进行问题交流，疑难解答哦~

目录

Session Cluster部署

非HA Session Cluster部署及测试

1. 准备deployment文件

2. 部署yaml 文件

3. 验证部署情况

4. 停止集群

5. 任务提交与测试

5.1 基于WebUI提交Flink任务

5.2 通过客户端命令方式提交任务

Flink 基于Kubernetes部署支持Session Cluster模式和Application Cluster模式部署。Session Cluster模式即可以在一个Flink集群中运行多个作业，这些作业公用JobManager和TaskManager。Application Cluster模式即一个作业使用单独的一个专用Flink集群，每个Flink作业的JobManager和TaskManager隔离。无论是Session Cluster模式还是Application Cluster模式都支持JobManager的HA 部署。下面分别介绍并测试。

Session Cluster部署

Flink Session集群作为Kubernetes Deployment来运行的，可以在一个基于K8s 部署的Session Cluster 中运行多个Flink job，在Kubernetes 上部署Flink Session 集群时，一般至少包含三个组件：

  1. 运行JobManager的Deployment
  2. 运行TaskManager的Deployment
  3. 暴露JobManager上的REST和UI端口的Service
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Apache Flink连载（四十四）：Flink基于Kubernetes部署 - Native Kubernetes部署-Session Cluster模式
qq_32020645的博客
09-01 35
Flink的Native Kubernetes集成允许我们直接将Flink部署到正在运行的Kubernetes集群上，Flink能够根据所需的资源通过与Kubernetes 集群通信动态分配和取消分配taskmanager，其部署原理图如下：Flink Native kubernetes集成需要一个Kubernetes集群，并且Kubernetes版本需要大于等于1.9 版本，Flink Native kubernetes支持Flink Client 创建Session Cluster和Applicatio
Apache Flink连载（四十三）：Flink基于Kubernetes部署 - Kubernetes部署模式之Application Cluster-HA Application Cluster
qq_32020645的博客
08-29 295
本文介绍了基于Kubernetes部署Flink Application集群的HA高可用模式配置方法。主要内容包括：1）配置文件中需添加HA相关参数，如集群ID、高可用模式、元数据存储目录等；2）创建ClusterRole并绑定服务账户以授权ConfigMap操作；3）部署JobManager和TaskManager的YAML文件配置，包括副本数、HDFS挂载、环境变量等；4）启动HDFS集群后执行部署命令；5）通过Web UI验证集群状态。相比非HA模式，HA模式无需jobmanager-server.y
Flink On K8s
weixin_37714509的博客
09-03 4283
Flink 原生支持 Kubernetes # 本页面介绍了如何在Kubernetes 上本地部署 Flink 。 开始 # 本入门部分将指导您在 Kubernetes 上设置功能齐全的 Flink 集群。 介绍 # Kubernetes 是一种流行的容器编排系统，用于自动化计算机应用程序的部署、扩展和管理。Flink 的原生 Kubernetes 集成允许您直接在正在运行的 Kubernetes 集群上部署 Flink。此外，Flink 能够根据所需资源动态分配和取消分配 TaskManager，因为它可
我的Flink学习笔记
qq_32323239的博客
08-23 931
一、Flink的概念JobManager：它扮演的是集群管理者的角色，负责调度任务、协调 checkpoints、协调故障恢复、收集 Job 的状态信息，并管理 Flink 集群中的从节点 TaskManager。并且他由以下三个主要的组件组成:ResourceManager:ResourceManager负责Flink 集群中的资源释放/分配——它管理taskslots，这是 Flink 集群中资源调度的单位（参见TaskManagers）。 Flink 为不同的环境和资源提供者（例如 YARN、Kube
Apache Flink连载（四十一）：Flink基于Kubernetes部署 - Kubernetes部署模式之Session Cluster部署-HA Session Cluster部署及测试
qq_32020645的博客
03-06 318
以上删除该Active JobManager对应的pod后，Kubernetes机制本身会尝试重启新的Pod，当然由于我们配置了Flink HA ,所以Kubernetes会在新启动的JobManager Pod与原来运行的Standby JobManager Pod中进行自动选主，有一定概率会选择原来一直运行的JobManager Pod当做Active JobManager。由于HA模式使用到了HDFS集群，所以这里应该首先启动HDFS集群然后再部署对应的yaml文件。
Apache Flink连载（四十二）：Flink基于Kubernetes部署 - Kubernetes部署模式之Application Cluster-非HA Application Cluster
qq_32020645的博客
03-07 441
以下参数中 standalone-job、--job-classname 是固定的，后面一个参数是运行的Flink 主类，还可以继续跟参数，例如："--input","/xxx/xx"- name: job-artifacts-volume #这里必须指定该路径，注意是usrlib ，Flink会从该路径读取用户自己的jar包。#将主类对应的jar包放入到该路径下(该路径要在k8s集群所有节点都要有才可以)，可以自定义路径，直接会挂载到容器中。浏览器中输入的ip可以是K8s集群中任意节点的IP。
2、Flink1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式（前两种及session和per-job）验证详细步骤
热门推荐
alanchanchn的专栏
07-05 7万+
在部署该集群前，hadoop集群已经部署好了，其四台服务器为server1、server2、server3和server4，其中server1是namenode、其余的是datanode，其端口是默认。本文详细的介绍了flink的Standalone独立集群模式和Standalone HA集群模式的部署、提交任务与验证，同时介绍了Flink on yarn的两种运行模式。在部署该集群前，zookeeper集群已经部署好了，其三台服务器为server1、server2和server3，其端口是2118。
【Flink 核心篇】Flink 之部署篇
Code · Cloud · Think · Repeat
02-22 3099
在所有其他模式下，应用程序的 main() 方法都在客户端执行。这一过程包括在本地下载应用程序的依赖项，执行 main() 以提取 Flink 运行时可以理解的应用程序表示（即 JobGraph），并将依赖项和 JobGraph 发送到集群。这就使客户端成为资源消耗大户，因为它可能需要大量网络带宽来下载依赖项并将二进制文件发送到集群，还需要 CPU 周期来执行 main()。当客户端被多个用户共享时，这一问题会更加突出。
Flink（5）：Flink安装部署之Standalone-HA高可用集群模式
yang_shibiao的博客
06-30 2575
0. 相关文章链接 1. 原理
大数据时代时序数据库选型指南：为何Apache IoTDB成为物联网场景首
小相探索IT世界
01-08 728
时序数据库选型面临物联网、工业互联网等场景下海量数据处理的挑战。本文对比分析了主流时序数据库的核心维度：InfluxDB适合中小规模监控场景，TimescaleDB兼容SQL但性能有限，OpenTSDB扩展性强但架构复杂。重点推荐专为物联网设计的Apache IoTDB，其树状数据模型贴合工业场景，具备千万级写入吞吐量、10:1高压缩比和端边云协同架构。
如何在 CentOS 7 上通过调优 Apache Tomcat 配置，提高高并发电商网站的性能？
A5互联
01-04 719
在电商高峰期（如双十一、双十二、黑五等促销活动期间），网站需要承载大量并发访问请求，如何在现有硬件条件下，通过合理调优 Apache Tomcat，使其在 CentOS 7 上稳定支撑高并发负载，是提升电商平台性能的核心运维技术之一。A5数据在本文中基于实际生产环境案例，以具体参数、技术细节、实现方法和性能评测为导向，逐步讲解如何从 Tomcat 配置、JVM 参数、操作系统内核和网络层面进行全面优化。
Apache SeaTunnel 2025 案例精选重磅发布！
weixin_54625990的博客
01-08 214
🎉哇塞！《2025 年 Apache SeaTunnel 案例精选集》 闪亮登场啦！免费领取通道开启，限时 7 天，手快有手慢无哦，宝子们冲呀！
Linux-Web服务（Apache）
Maggie_ssss_supp的博客
01-05 604
Apache HTTP Server（简称Apache）是Apache软件基金会的一个开源的web服务器，Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。1.主配置目录：/etc/httpd/conf/2.子配置目录：/etc/httpd/conf.d/2.默认发布目录：/var/www/html/3.默认监听端口：804.检查是否有语法问题：httpd -t。
Spring Security 与 Apache Shiro 两大安全框架比较
lizhengyu891231的博客
01-04 593
Spring Security 与 Apache Shiro 两大安全框架比较
Spring Boot 整合 Apache Doris：实现海量数据实时OLAP分析实战
夜雨的博客
01-08 829
Spring Boot 整合 Apache Doris：实现海量数据实时OLAP分析实战.在大数据时代，企业对数据分析的实时性、并发性和灵活性提出了前所未有的要求。传统关系型数据库（如 MySQL）难以应对高吞吐写入与复杂聚合查询的双重压力。为此，**Apache Doris** 作为一种高性能、低延迟的 MPP（Massively Parallel Processing）实时分析型数据库，正被越来越多企业用于构建现代化数仓系统。
大数据时代下的时序数据库选型指南：为何Apache IoTDB成为最优解
最新发布
稻草人
01-08 848
摘要： 随着物联网等场景的快速发展，时序数据呈指数级增长，对存储和分析系统提出更高要求。本文从大数据视角提出时序数据库选型的6大核心维度：存储效率、写入性能、查询能力、生态兼容性、运维成本和可靠性。通过对比InfluxDB等国外产品，Apache IoTDB凭借双层存储架构（压缩率高30%-50%）、百万级TPS写入、毫秒级查询、深度兼容大数据生态（Flink/Spark等）、边缘-云端协同架构及开源免费等优势，成为PB级时序数据处理的最优解。文中还提供了IoTDB集群部署架构与Flink集成示例，助力企业
2025 年 Apache DolphinScheduler 案例精选
hopsky的博客
01-05 639
精选集展示了Apache DolphinScheduler在互联网、云计算、智能制造、AI研发等领域的深度应用，通过容器化部署、流批统一调度、数据血缘治理、多系统协同等方案，解决了企业数据调度中的弹性、稳定性与扩展性难题。社区持续推动开源生态创新，为企业构建高可用、智能化的调度平台提供实践指南。完整案例详见各章节链接，或访问Apache DolphinScheduler官网。
Dremio的Apache Arrow 和 Gandiva
轩哥的个人研究和成长记录
01-08 706
Dremio通过Apache Arrow和Gandiva构建高性能查询引擎。Arrow作为统一的内存数据标准，实现跨语言零拷贝数据交换，解决传统系统序列化瓶颈；Gandiva基于LLVM将SQL表达式编译为本地机器码，实现向量化计算。二者协同工作形成"数据移动+计算"的全栈优化：Arrow提供标准化列式内存格式，Gandiva进行高效计算，全程无格式转换。Dremio社区版采用Apache 2.0许可可免费商用，但功能受限（如仅支持2个反射），企业版提供完整功能。
Apache POI XSSFWorkbook 写入Excel文件的潜在风险
jiba12323234的博客
01-07 254
否则必然面临 OOM 或性能崩溃问题。可能会遇到以下问题，尤其是在处理。
部署 Apache Flink
11-01
嗯，用户这次明确询问Apache Flink的部署方法，看来是个大数据领域的技术人员。从ta直接引用三篇站内技术文档的行为看，应该已经做过基础调研，现在需要系统性的部署指南。 注意到上次对话历史里用户对技术细节的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值