Apache Flink连载（四十二）：Flink基于Kubernetes部署 - Kubernetes部署模式之Application Cluster-非HA Application Cluster

最新推荐文章于 2026-01-07 17:31:24 发布
原创 最新推荐文章于 2026-01-07 17:31:24 发布 · 439 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#apache #flink #kubernetes

本文详细介绍了如何在Kubernetes上部署非HA的Flink Application Cluster，包括配置文件准备、yaml文件部署和验证步骤。强调了在每个节点上部署Flink jar包和启动socket服务的重要性。

🏡 个人主页：IT贫道-优快云博客

🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~

🔔 博主个人B栈地址：豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频​​​​​​

🔥 通过B栈可以找到豹哥进行问题交流，疑难解答哦~

目录

非HA Application Cluster部署及测试

1. 准备deployment文件

1.2 jobmanager-rest-service.yaml

1.3 jobmanager-service.yaml

1.4 jobmanager-application-deployment-non-ha.yaml

1.5 taskmanager-application-deployment.yaml

2. 部署yaml文件

3. 验证部署情况

Application模式即一个作业使用单独的一个专用Flink集群，每个Flink作业的JobManager和TaskManager隔离。在Kubernetes 上部署Application Cluster集群时，与Session Cluster集群部署一样，一般至少包含三个组件：

  1. 运行JobManager的Deployment
  2. 运行TaskManager的Deployment
  3. 暴露JobManager上的REST和UI端口的Service

非HA Application Cluster部署及测试

1. 准备deployment文件

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Apache Flink连载（四十三）：Flink基于Kubernetes部署 - Kubernetes部署模式之Application Cluster-HA Application Cluster
qq_32020645的博客
08-29 295
本文介绍了基于Kubernetes部署Flink Application集群的HA高可用模式配置方法。主要内容包括：1）配置文件中需添加HA相关参数，如集群ID、高可用模式、元数据存储目录等；2）创建ClusterRole并绑定服务账户以授权ConfigMap操作；3）部署JobManager和TaskManager的YAML文件配置，包括副本数、HDFS挂载、环境变量等；4）启动HDFS集群后执行部署命令；5）通过Web UI验证集群状态。相比非HA模式，HA模式无需jobmanager-server.y
Apache Flink连载（四十四）：Flink基于Kubernetes部署 - Native Kubernetes部署-Session Cluster模式
qq_32020645的博客
09-01 35
Flink的Native Kubernetes集成允许我们直接将Flink部署到正在运行的Kubernetes集群上，Flink能够根据所需的资源通过与Kubernetes 集群通信动态分配和取消分配taskmanager，其部署原理图如下：Flink Native kubernetes集成需要一个Kubernetes集群，并且Kubernetes版本需要大于等于1.9 版本，Flink Native kubernetes支持Flink Client 创建Session Cluster和Applicatio
Flink k8s 部署模式 Application集群模式
u013568834的专栏
11-02 2454
官网上给出了部署方式，不过对于基础差一点难免困难一点，所以我把官网上的内容按照部署顺序写一下： # kubectl create -f flink-configuration-configmap.yaml # kubectl create -f jobmanager-service.yaml # kubectl create -f jobmanager-application-non-ha.yaml # kubectl create -f taskmanager-job-deployment.y
Application Deployment in Flink: Current State and the new Application Mode
微信公众号：大数据从业者
08-18 432
14 Jul 2020 Kostas Kloudas (@kkloudas) With the rise of stream processing and real-time analytics as a critical tool for modern businesses, an increasing number of organizations build platforms with ...
【梳理】k8s使用Operator搭建Flink集群（高可用可选）
haerxiong的专栏
03-08 5152
本文内容来源于Flink官网，进行翻译、简化、整理，供大家参考~
Flink通过Native Kubernetes(k8s)方式Session模式和Application模式进行部署
Bulut0907
09-15 5695
目录1. Session模式1.1 安装Java1.2 下载Flink并解压1.3 在所有k8s的所有node节点下载flink镜像1.4 创建namespace、service账号和给账号授权1.5 启动flink的jobmanager1.6 访问Flink Web页面1.7 向Flink集群提交任务1.8 再次查看Pod和Flink Web 1. Session模式 1.1 安装Java java 8的安装，请参考我的这篇博客centos7同时安装java8和openJdk11、windows同时安装j
Dinky手把手教程 - 集成K8s，提交Flink On K8s Application任务
atbigapp的博客
08-19 2185
Dinky 是一个基于 Apache Flink 的实时计算平台，它提供了一站式的 Flink 任务开发、运维、监控等功能。Kubernetes 是一个强大的容器编排平台，能够自动化应用的部署、扩展和管理。将 Flink 与 Kubernetes 集成，可以充分利用 Kubernetes 的优势，实现 Flink 任务的弹性伸缩、自动化部署和高可用性。
Apache Flink连载（四十）：Flink基于Kubernetes部署 - Kubernetes部署模式之Session Cluster部署-非HA Session Cluster部署及测试
qq_32020645的博客
03-06 321
向K8S部署的Flink集群中提交应用程序如果打印结果到控制台不支持在WebUI中的TaskManager中查看对应的Console日志，主要原因是K8S 基于Docker运行Flink TaskExecutor和JobMaster 进程时不会将STDOUT日志重定向到文件中。基于K8s的Flink Standalone 集群我们可以通过Flink WebUI来提交Flink任务，也可以通过Flink客户端命令提交任务。Session集群WebUI。浏览器中输入的ip可以是K8s集群中任意节点的IP。
Apache Flink连载（二十三）：Flink HA - Flink基于Yarn HA
qq_32020645的博客
01-01 503
🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-优快云博客🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频。
StreamX 最佳实践 - Flink on Kubernetes 篇
u013620245的博客
08-09 2099
StreamX 最佳实践-Flink on Kubernetes篇
flink on k8s (flink-1.13.0 最新版本 application 部署方式)
weixin_36058946的博客
05-10 4194
flink on k8s (flink-1.13.0 最新版本 application 部署方式) run-application模式 （此方式一劳永逸，节省资源+数据隔离，集群之间不会相互影响） ①，将自己的项目jar包 和 flink镜像 打在一起生成新的镜像 （默认jdk是1.8，如果有jdk版本要求可将jdk的home目录一起打进镜像，然后通过配置文件内添加参数 env.java.home: /opt/flink/jdk-11.0.10+0 来指定jdk ） Dockerfile： FROM
基于k8s的Flink的application部署模式
huashetianzu的专栏
08-13 1648
Flink的k8s的application部署模式，具体代码如下： import java.util.Collections; import java.util.concurrent.Executors; import org.apache.flink.client.deployment.ClusterDeploymentException; import org.apache.flink.client.deployment.ClusterSpecification; import org.apach
实战之flink 1.11中的Application Mode部署模式K8S-Application模式生产使用支持下载用户自定义Jar包(已跑通)
打工日常
12-01 767
Flink1.11支持了Native Kubernetes Setup Beta，但这种模式只支持将用户自定义的jar包打到自定义的镜像中，这种模式下，来一个用户就要打一个镜像的方式不符合需求。而且这种模式支持的Flink Kubernetes Session。意思是什么呢？先看看官网提交的方式： $ ./bin/kubernetes-session.sh \ -Dkubernetes.cluster-id=<ClusterId> \ -Dtaskmanager.memory.proce
如何在 CentOS 7 上通过调优 Apache Tomcat 配置，提高高并发电商网站的性能？
A5互联
01-04 710
在电商高峰期（如双十一、双十二、黑五等促销活动期间），网站需要承载大量并发访问请求，如何在现有硬件条件下，通过合理调优 Apache Tomcat，使其在 CentOS 7 上稳定支撑高并发负载，是提升电商平台性能的核心运维技术之一。A5数据在本文中基于实际生产环境案例，以具体参数、技术细节、实现方法和性能评测为导向，逐步讲解如何从 Tomcat 配置、JVM 参数、操作系统内核和网络层面进行全面优化。
Linux-Web服务（Apache）
Maggie_ssss_supp的博客
01-05 586
Apache HTTP Server（简称Apache）是Apache软件基金会的一个开源的web服务器，Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。1.主配置目录：/etc/httpd/conf/2.子配置目录：/etc/httpd/conf.d/2.默认发布目录：/var/www/html/3.默认监听端口：804.检查是否有语法问题：httpd -t。
Debian 10 系统中高并发下 Apache 进程崩溃问题：如何通过调整 ulimit 与配置优化修复
A5互联
01-02 770
我在一次为跨境电商做高并发压测的实战中，遇到了 Debian 10 系统上 Apache 在高请求并发下频繁崩溃／重启的问题。A5数据www.a5idc.com通过分析系统日志、性能计数器和压力测试数据，最终定位到是 系统资源限制（ulimit）与 Apache 默认配置在高并发场景下不匹配 导致的“进程耗尽 & 内存泄漏式重启”。本文将基于该故障案例，给出完整的排查思路、软硬件参数、调优方法、代码示例与优化前后对比评测。
时序数据库选型操作：Apache IoTDB 的深度实战应用
最新发布
微学AI的博客
01-07 685
本文对主流时序数据库进行对比分析，重点介绍了Apache IoTDB的核心优势。首先概述了时序数据的特点及选型标准，包括写入性能、压缩率、查询效率和生态集成等维度。随后分析了InfluxDB、TimescaleDB和OpenTSDB三款国外时序数据库的特性与适用场景。最后详细阐述了IoTDB的架构设计、存储格式和性能优势，特别强调其在工业物联网、智慧能源等领域的应用价值，以及端-边-云协同能力。文章还提供了IoTDB在Ubuntu系统下的Docker部署指南，帮助读者快速体验其功能。
2025 年 Apache DolphinScheduler 案例精选
hopsky的博客
01-05 632
精选集展示了Apache DolphinScheduler在互联网、云计算、智能制造、AI研发等领域的深度应用，通过容器化部署、流批统一调度、数据血缘治理、多系统协同等方案，解决了企业数据调度中的弹性、稳定性与扩展性难题。社区持续推动开源生态创新，为企业构建高可用、智能化的调度平台提供实践指南。完整案例详见各章节链接，或访问Apache DolphinScheduler官网。
Apache Hadoop-HDFS介绍
kong7906928的博客
01-03 938
Hadoop介绍，HDFS介绍
部署 Apache Flink
11-01
嗯，用户这次明确询问Apache Flink的部署方法，看来是个大数据领域的技术人员。从ta直接引用三篇站内技术文档的行为看，应该已经做过基础调研，现在需要系统性的部署指南。 注意到上次对话历史里用户对技术细节的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值