【Flink on k8s】- 9 - 本地部署 Flink kubernetes operator

已于 2023-12-06 16:39:01 修改
阅读量1k 收藏 1
点赞数 2
分类专栏： Apache Flink 数据湖仓 Flink kubernetes operator 文章标签： 大数据 flink kubernetes
于 2023-08-11 10:30:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/high2011/article/details/132225279
版权
这篇博客详细介绍了如何在本地部署 Flink Kubernetes Operator，包括安装本地 Kubernetes 环境、Helm 和 Flink Operator，以及使用 Operator 部署 Flink 作业的步骤，最终实现通过端口转发访问 Flink 作业的 Web UI 界面。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1.说明

1.1 版本

1.2 kubernetes 环境

1.3 参考

2.安装步骤

2.1 安装本地 kubernetes 环境

2.2 安装 helm 

3.使用 flink kubernetes operator 部署 flink 作业

3.1 下载官方 demo：basic.yaml

3.2 提交作业并查询运行状态

3.3 端口转发，本地访问 flink job 的 web ui 界面

1.说明

1.1 版本

flink kubernetes operator 版本： 1.4.0

helm 版本： 3.1.0

flink kubernetes operator 支持的 Flink 版本：v1.13, v1.14, v1.15, v1.16

1.2 kubernetes 环境

mac os docker desktop

1.3 参考

官方文档：Operator Upgrades | Apache Flink Kubernetes Operator

2.安装步骤

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Flink on k8s】- 1 - Flink Kubernetes Operator 简介 2023
欢迎来到我的博客，一起探索代码里的世界！
03-22 986
Flink Kubernetes Operator 可以与 Kubernetes 的其他功能和工具集成，可以帮助用户快速定位和解决问题。Flink Kubernetes Operator可以在Kubernetes上实现高可用性，以确保 Flink 集群的稳定性和可靠性。Flink Kubernetes Operator 可以快速地部署 Flink 集群，而无需手动配置和管理集群。Flink Kubernetes Operator可以将Flink集群与其他应用程序隔离，以避免资源争用和干扰。
【Flink on k8s】- 13 - Flink kubernetes operator 版本升级
欢迎来到我的博客，一起探索代码里的世界！
09-13 688
2、停止生产上正在运行的 flink job说明：由于在生产上，我们已经有作业正在运行，所以在升级 flink kubernetes operator 之前，需要停止正在运行的 flink job。如下举例删除 basic-example 作业：(1)删除 deployment 和 pod(1)查询是否正常下线3、升级 CRD3.1 切换项目空间到 ns-flink-operator 下3.2 执行升级命令，即可升级 CRD。
flink on k8s部署
weixin_51981189的博客
04-19 1240
创建 JobManager 和 TaskManager 的。
【Flink】flink on k8s 部署方案
u013202518的博客
03-23 9657
Flink平台部署方案 持续保持更新 有些部署yaml借鉴的文章忘记哪里搬过来了额，但是经过自己测试过可行 再次表谢感谢 1. HDFS部署 (k8s) 可以单独create -f 部署，也可以基于helm统一部署 1.1 hdfs-conf.yaml apiVersion: v1 kind: ConfigMap metadata: namespace: dev-flink-plat name: kube-hadoop-conf data: HDFS_MASTER_SERVICE: hado
k8s部署Kafka-Mysql-Flume-Flink详细讲解
最新发布
weixin_42382926的博客
03-19 395
编写flume部署flume.yaml文件,如遇报错，网上有很多资料都可以解决。也可以k8s web界面查看。
k8s 部署Flink
peiyinshi2330的博客
05-26 1269
https://flink.apache.org/ # Flink官网 此步骤(k8s)部署才需要 配置文件 先把Flink的所有配置文件拷贝到本地, 再把本地的配置文件挂在到POD里面 1.1 jobmanager的配置文件 vim flink-conf.yaml 修改配置文件 jobmanager.rpc.address: flink-jobmanager-svc jobmanager.rpc.port: 6123 jobmanager.heap.size: 1024m taskmanage
Flink On K8s实践4:Session部署模式实践
homeofcm的专栏
04-11 1091
Apache Flink是当下主流了流式计算引擎，在企业的实时数仓、实时BI、数据湖、智能推荐和风险风控等场景中有广泛的应用。Apache Flink支持多种Resource Providers，也就是可以在多种资源平台上运行，本系列文章以当前热门的容器平台Kubernetes作为Flink的Resource Proivder，全面讲解如何在Kubernetes平台上以Flink Kubernetes Operator的方式运行Flink作业应用。
【K8S】【flink on k8s】 之flinkcdc
qq_31286957的博客
03-14 1458
1）新建一个nodeport类型的service ，选择器和application-deployment-rest 保持一致，映射8081端口。1)k8s上能执行kubectl 命令的节点上创建自定义工作负载配置任务文件 flink-cdc-demo.yaml。2） 访问flink-web-ui service 对应的端口即可出现flink-web-ui界面。1、在k8s 上部署 flink-kubernetes-operator。1、在k8s 上部署 flink-kubernetes-operator。
flink-on-k8s-operator:Kubernetes运算符，用于管理Apache Flink和Beam应用程序的生命周期
04-29
用于Apache Flink的Kubernetes Operator是用于在上运行的控制平面。 社区 提出问题，报告错误或提出功能或加入我们的频道。 查看 。 项目状态 贝塔 操作员正在积极开发中，对于Beta版本，不能保证API的向后兼容性...
Flink on Kubernetes (flink-operator) 部署Flink
javaMylife的博客
03-27 1543
部署cluster完成，配置svcType 后即可访问，flink web ui，此时jobManager是启动着的 taskmanager随着flink jar进行启动和停止。3、使用initContainers和 containers使用相同的挂载路径，然后使用远程文件下载放到挂载路径中，containers就能获取到该jar包。此处jarURL只得是docker内部路径，且不支持远程路径（http/s3/hdfs），因此需要将jar包放到docker内部。2、可以使用pvc挂载进去。
Flink on k8s 环境搭建(一)
wangqiaowq的博客
07-19 2774
Flink on Yarn的环境搭建过程中，需要进行配置较多，且需要搭建zookeeper Hadoop Yarn 等相关组件，安装流程比较复杂，集群出现问题重新安装的流程也比较复杂，且Yarn的3个节点中 只能起了 3个resourceManager和1个NodeManager，Flink 作业申请资源时只能 向NodeManager的节点申请资源，整体有资源瓶颈的隐患（后继flink作业会越来越多），现在尝试进行Flink on k8s 的环境搭建。
flink-k8s部署.zip
10-12
flink on k8s部署yaml
Flink(arm) on K8S 部署时的那些坑
evilstar2015的专栏
08-07 3178
目标：在arm架构的K8S上部署一套flink集群。我对k8s还算了解，但在此之前没接触过flink，部署起来确实有点困难。本文记录在此过程中遇到的问题，以及问题原因和解决方案。
Flink 配置3：kubernetes(K8S) 部署 Flink 集群环境
北_鱼的博客
12-05 1876
基于 kubernetes(K8S) 部署 Flink 集群环境。
在k8s部署flink standaloneSession模式 job-manager 高可用集群搭建
10年老JAVA大数据技术人的专栏
04-03 610
在k8s部署flink standaloneSession模式 job-manager 高可用集群搭建
flink部署【使用k8s部署】
Happywzy~的博客
06-11 2023
准备k8s环境 准备相关YAML flink-configuration-configmap.yaml apiVersion: v1 kind: ConfigMap metadata: name: flink-config labels: app: flink data: flink-conf.yaml: |+ jobmanager.rpc.address: flink-jobmanager taskmanager.numberOfTaskSlots: 2 b
基于K8S搭建Flink集群，轻松上手玩集群
wqs229342的博客
03-31 8397
K8S搭建及Flink集群部署
快速基于k8s部署flink
sinat_42406646的博客
02-01 773
快速部署flink到k8s
Flink On K8S
github_31020161的博客
08-04 344
动力 K8S基础能力有保障。 Flink 版本已升级至最新版。 Flink On Yarn的不足。 整体架构 实时平台 CICD(镜像构建) Flink On K8s(Ingress创建 Podtemplate) K8S Logger Metrics Alerts 网络模型 Kong nodePort Ingress (ingress-controller+ingress) Pod 状态存储 HDFS OSS 容量规划 网络带宽 任务热点 DNS解析 ...
YuniKorn优化Flink-on-K8s调度：现状、挑战与未来
本文主要探讨了YuniKorn如何优化Flink在Kubernetes(K8s)上的运行效率，以及Flink在K8s环境中的现状、挑战与未来的发展方向。 Flink on K8s现状： 目前，Flink在K8s上的部署包括JobManager和TaskManager两个关键组件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值