【flink配置系列】flink jobmanager-service.yaml 功能源码详解

原创 已于 2023-12-24 13:52:27 修改 · 193 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

于 2023-09-02 23:38:38 首次发布
博客围绕jobmanager-service.yaml配置文件展开，该文件用于部署Flink JobManager的Kubernetes Service。在非高可用模式下此Service可选，通过ClusterIP类型为JobManager提供网络入口，定义三个端口处理不同请求，还介绍了标签选择器关联应用程序等内容。

jobmanager-service.yaml

文章目录

配置文件主要功能

这个配置文件是用于部署 Flink JobManager 的 Kubernetes Service。在非高可用（Non-HA）模式下，JobManager Service 是可选的。

  • 通过 ClusterIP 类型的 Service，为 JobManager 提供网络访问入口。
  • 定义了三个端口：rpc、blob-server 和 webui，用于分别处理 RPC 通信、Blob Server 和 Web UI 的请求。
  • 使用 app: flink 和 component: jobmanager 作为标签选择器，将 Service 关联到对应的 Flink 应用程序。

配置文件加上中文注释

apiVersion: v1
kind: Service
metadata:
  name: flink-jobmanager   # Service 的名称
spec
最低0.47元/天 解锁文章
【flink配置系列】flink jobmanager-rest-service.yaml功能源码详解
wang2leee的博客
09-02 247
这个配置文件是用于在 Kubernetes 中将 Flink JobManager 的 REST 端口公开为公共节点端口的可选 Service。
【flink配置系列】flink jobmanager-session-deployment-ha.yaml 功能源码用法详解
wang2leee的博客
09-02 247
这个配置文件是用于部署 Flink JobManager 的 Kubernetes Deployment。在高可用（HA）模式下，使用该配置文件可以创建一个 JobManager 实例。
Flink job cluster on Kubernetes
runzhliu大数据/容器日记
07-20 953
文章目录1 Overview2 Creating the job-specific image3 Deploy Flink job cluster on Kubernetes4 Summary 1 Overview 之前文章介绍了 Flink session cluster on Kubernetes，需要注意，这种部署方式，可以在同一个 Cluster 上多次提交 Flink Job，而本文介绍...
Apache Flink 的 K8s Session 提交流程
Shockang的博客
07-19 1328
从总体上来说，在 K8s 集群上使用 Session 模式提交 Flink 作业的过程分为 3 个阶段： - 首先在 K8s 上启动 FlinkSession 模式的集群 - 其次通过 Flink Client 提交作业 - 再次进行作业调度执行
Flink k8s 部署模式 Application集群模式
u013568834的专栏
11-02 2443
官网上给出了部署方式，不过对于基础差一点难免困难一点，所以我把官网上的内容按照部署顺序写一下： # kubectl create -f flink-configuration-configmap.yaml # kubectl create -f jobmanager-service.yaml # kubectl create -f jobmanager-application-non-ha.yaml # kubectl create -f taskmanager-job-deployment.y
k8s之flink的几种创建方式
weixin_45249411的博客
01-03 2924
在此之前需要部署一下私人docker仓库，教程注意：每台节点的daemon.json都需要配置并重启。
Flink(arm) on K8S 部署时的那些坑
evilstar2015的专栏
08-07 3476
目标：在arm架构的K8S上部署一套flink集群。我对k8s还算了解，但在此之前没接触过flink，部署起来确实有点困难。本文记录在此过程中遇到的问题，以及问题原因和解决方案。
【flink配置系列】flink jobmanager-application-ha.yaml功能详解
wang2leee的博客
09-02 464
这个配置文件是用于部署 Flink JobManager 作业的 Kubernetes Job。在高可用（HA）模式下，使用该配置文件可以创建一个 JobManager 实例来运行独立的作业。
【flink配置系列】flink flink-configuration-configmap.yaml功能源码详解
wang2leee的博客
09-02 594
这个配置文件是用于部署和配置 Flink 应用程序的 Kubernetes ConfigMap。其中包含了两个文件：flink-conf.yaml 和 log4j-console.properties。
Flink在k8s生产环境高可用部署
shirukai
11-02 8708
Flink在k8s生产环境高可用部署 flink: 1.10.1 kubernetes: 1.18.8 1 前言 目前参与的项目基本开发完成，打算开发的微服务和Flink任务统一部署到k8s上。之前几个项目都是跑在YARN上，Flink on YARN的部署模式是在生产中比较常见，YARN的稳定性和资源调度能力也是有目共睹的，依托Hadoop生态Flink高可用也很容易实现。关于On YARN 还是On K8S之前文章都有介绍，《Flink Cluster On YARN部署》和《Flink Clust
flink-k8s:Kubernetes的Flink图像，修复了Jobmanage连接问题
04-27
在Kubernetes上进行Flink。 Flink建筑 一个活动的JobManager（JM） 几个TaskManagers（TM） 每个集群一份工作 不断发展的工作部署理念 将集群生命周期绑定到工作生命周期） 理想情况下，这项工作是一流的。 （考虑在像Kubernetes这样的平台上运行作业，而不是先运行Flink集群，然后再提交作业） K8上的Flink JobManager部署（jobmanager-deployment.yaml） 维护1个作为JM运行的Flink容器的副本 应用类似“ flink-jobmanager”的标签 Jobmanager使用自定义Flink Docker映像“ afilichkin / flink-k8s-with-submit-job”，它启动JM并提交“ app.jar” JM服务（jobmanager-service.yaml）
Flink的部署介绍
lslslslslss的博客
03-25 1751
local-cluster模式 Flink中的Local-cluster(本地集群)模式,主要用于测试, 学习。 1.flink官网下载Apache Flink: Stateful Computations over Data Streams 2.解压至工具目录，将其复制并改名为flink-local 3.把上个文章中的无界流处理wordcount的API打包为jar包传入flink-local目录 4.启动本地集群 bin/start-cluster.sh 5.在hadoop102中启动.
Apache Flink 进阶教程（四）：Flink on Yarn/K8s 原理剖析及实践
qq_24095055的博客
06-28 718
文章目录Flink 架构概览Flink 架构概览–JobFlink 架构概览–JobManagerFlink 架构概览–TaskManagerFlink 运行时相关组件Flink on Yarn 原理及实践Yarn 架构原理–总览Yarn 架构原理–组件Yarn 架构原理–交互Flink on Yarn–Per JobFlink on Yarn–SessionYarn 模式特点Flink on Yarn 实践Flink on Kubernetes 原理剖析Kubernetes–基本概念Kubernetes–
基于k8s1.16搭建flink集群（二）
RivenDong
10-23 1916
文章目录1. 实验环境2. 集群搭建2.1 k8s1.16 版本的 Yaml 配置2.1.1 JobManager Yaml 配置2.1.2 TaskManager Yaml 配置2.1.3 JobManagerServices 配置2.2 启动Flink Session Cluster2.3 停止Flink Session Cluster 1. 实验环境 Kubernetes集群： 3台4G的虚...
Flink On K8S终极实现方案
u011250186的博客
07-01 1620
Flink作为新一代的大数据处理引擎，不仅是业内公认的最好的流处理引擎，而且具备机器学习等多种强大计算功能，用户只需根据业务逻辑开发一套代码，无论是全量数据还是增量数据，亦或者实时处理，一套方案即可全部解决。K8S是业内最流行的容器编排工具，与docker容器技术结合，可以提供比Yarn与Mesos更强大的集群资源管理功能，成为容器云的主要解决方案之一。如果能将两者结合，无疑是双剑合璧，对生产效能有着巨大的提升。本文将介绍目前为止，Flink On K8S的最前沿实现方案。 Flink集群架构 ...
Flink Session Cluster on K8S
runzhliu大数据/容器日记
07-19 1292
文章目录1 Overview2 Setup Kubernetes2 Flink session cluster on Kubernetes2.1 Deploy Flink session cluster on Kubernetes3 Summary 1 Overview 本文是根据官方文档略加编辑整理出来的。 2 Setup Kubernetes Mac 环境推荐 Docker for Mac，一...
基于k8s1.15搭建Flink集群（一）
RivenDong
10-18 3475
文章目录1. 前言2. 实验环境3. 集群搭建3.1 Yaml 配置3.1.1 JobManager Yaml 配置3.1.2 TaskManager Yaml 配置3.1.3 JobManagerServices 配置3.2 启动Flink Session Cluster3.3 停止Flink Session Cluster4. 坑 1. 前言 容器化部署是目前业界非常流行的一项技术，基于Doc...
【HBZ分享】Rancher通过yaml部署Flink-UI 与 Flink应用部署
a645293829的博客
05-04 2180
Flink部署UI界面 及 相关配置 建议：Flink应用尽量单独部署到一台服务器，因为很占用内存 注意：8081端口记得放行，Flink-UI需要用到8081端口访问 第一步：部署flink-jobmanager-deployment.yaml 注意：部署顺序一定要： flink-jobmanager-deployment.yaml flink-jobmanager-service.yaml taskmanager-deployment.yaml 其中flink-jobmanager-service.y
FlinkCDC实战：将 MySQL 数据同步至 ES
最新发布
2509_94096596的博客
11-30 508
CDC (Change Data Capture) 是 变更数据获取的简称。核心思想是监测并捕获数据库的变动(数据或数据表的插入、更新以及删除等)，将这些变更按发生的顺序完整地记录下来，写入到消息中间件中以供其他服务进行订阅并消费。Flink 社区开发了 flink-cdc-connectors 组件，这个一个可以直接从 MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source 组件。
flink on yarn怎么配置flink-conf.yaml
12-27
### 配置 `flink-conf.yaml` 文件以支持 Apache Flink on YARN #### 理解配置环境 为了使Apache Flink能够在YARN环境中正常运行，需要对`flink-conf.yaml`文件进行特定设置。此文件位于Flink安装目录下的`conf`子...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigDataMLApplication

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值