Flink 基于K8S HA 存在的问题

原创 已于 2025-09-16 09:17:45 修改 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kubernetes #flink #java

于 2022-10-12 16:21:17 首次发布
针对Flink1.13.x版本在K8S上遇到的JobManager高频率故障问题进行深入分析。主要原因是Flink集群对etcd访问过于频繁，导致K8S集群不稳定。

背景

本文基于Flink 1.13.x
Flink on K8S
在基于原生K8S做JobManager HA服务的前提下，随着部署在K8S的flink任务越来越多，JobManager节点挂的频率越来越高，这严重影响了整个Flink作业的运行。

分析

对于目前的flink的架构，画出如下的图，该图也是参考了官方

在这里插入图片描述

其实最主要的原因是flink集群对etcd的访问过于频繁(etcd是K8S的最为关键的组件),导致了整个K8S集群的不稳定。

Flink K8S模式采用KubernetesHaServicesFactory类来做HA(高可用)，HA数据存储在哪里？又存了哪些数据？
打工日常
12-07 540
Flink on Kubernetes：云原生大数据处理方案全解析
最新发布
小白菜的博客
10-18 842
在实时大数据处理成为企业核心竞争力的今天，Flink凭借其低延迟、高吞吐、Exactly-Once的特性成为行业标准，而则是云原生时代容器编排的“操作系统”。当Flink遇到K8s，二者的结合不仅解决了传统大数据部署的资源利用率低、弹性不足、运维复杂等痛点，更开启了云原生实时大数据处理的新纪元。本文将从背景演变核心概念映射技术原理实现实际应用案例未来趋势五大维度，用“工厂+园区”的生活化比喻、一步步的逻辑推理、真实的代码示例，彻底讲透Flink on Kubernetes的底层逻辑与实践路径。
Flink在k8s生产环境高可用部署
shirukai
11-02 8696
Flink在k8s生产环境高可用部署 flink: 1.10.1 kubernetes: 1.18.8 1 前言 目前参与的项目基本开发完成，打算开发的微服务和Flink任务统一部署到k8s上。之前几个项目都是跑在YARN上，Flink on YARN的部署模式是在生产中比较常见，YARN的稳定性和资源调度能力也是有目共睹的，依托Hadoop生态Flink高可用也很容易实现。关于On YARN 还是On K8S之前文章都有介绍，《Flink Cluster On YARN部署》和《Flink Clust
Flink on k8s容器日志生成原理及与Yarn部署时的日志生成模式对比
大数据开发、JAVA开发、人工智能AI
10-12 3117
Flink on k8s容器日志生成原理及与Yarn部署时的日志生成模式对比。为什么在Yarn上部署时，有.out、.err和.log三个日志文件，而在k8s上部署时只有.log日志文件
Flink On Kubernetes（三）Flink Kubernetes Operator安装
jwandbj的博客
11-27 1739
前面讲了Flink On Kubernetes如何进行技术的选型，这边的话目前选用的是Flink On Kubernetes Application模式，这种模式最好的是资源隔离，就是说如果这个任务出现CPU和内存的突然彪高不会占用其他任务的资源，不会影响其他任务。Flink Operator主页： https://nightlies.apache.org/flink/flink-kubernetes-operator-docs-release-1.3/API，使其具有管理和操作的能力 Flink 部署。
flink ON k8s 实现 ha
qq_31017411的博客
09-15 1288
flink on k8 实现ha 一、前期准备 上传flink-1.11.1-bin-scala_2.11.tgz 并解析到/opt 下，用于提交job 在nfs根目录下创建相应需要进行挂载的目录 mkdir -p /jtpf_test/opt/flink 上传flink1.tar.gz 并将解析到/jtpf_test/opt/flink下 二、部署flink 集群 修改/opt/flink/jobmanager/conf 下flink-conf.yaml 文件 jobmanage
flink on k8s(minikube) session模式部署（HA）
iMonster
12-26 1593
安装 kubectl curl -LO https://storage.googleapis.com/kubernetes-release/release/`curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt`/bin/linux/amd64/kubectl chmod +x ./kubectl...
Flink on k8s 环境搭建(一)
wangqiaowq的博客
07-19 3204
Flink on Yarn的环境搭建过程中，需要进行配置较多，且需要搭建zookeeper Hadoop Yarn 等相关组件，安装流程比较复杂，集群出现问题重新安装的流程也比较复杂，且Yarn的3个节点中 只能起了 3个resourceManager和1个NodeManager，Flink 作业申请资源时只能 向NodeManager的节点申请资源，整体有资源瓶颈的隐患（后继flink作业会越来越多），现在尝试进行Flink on k8s 的环境搭建。
Flink on K8s 企业生产化实践
pop_xiaohao的专栏
02-22 2144
背景 为了解决公司模型&特征迭代的系统性问题，提升算法开发与迭代效率，部门立项了特征平台项目。特征平台旨在解决数据存储分散、口径重复、提取复杂、链路过长等问题，在大数据与算法间架起科学桥梁，提供强有力的样本及特征数据支撑。平台从 Hive 、Hbase 、关系型数据库等大数据 ODS ( Operational Data store ) 层进行快速的数据 ETL ，将数据抽取到特征平台进行管理，并统一了数据出口，供数据科学家、数据工程师、机器学习工程师做算法模型的数据测试、训练、推理及其他数据应用
私有云大数据部署：从开发到生产（Docker、K8s、HDFS/Flink on K8s）
晴天彩虹雨的博客
05-30 1170
本文介绍了企业如何在私有云或混合云中构建高可用大数据平台的实践方案。通过容器化技术将Flink、Spark等计算引擎部署在Kubernetes集群，配合HDFS本地存储或MinIO等替代方案，搭建包含资源编排、监控告警、安全认证的完整平台架构。文章详细说明了Flink在K8s的部署方法、镜像构建标准、HDFS存储方案选择，以及Prometheus+Grafana监控体系的实施要点，并给出了权限管理和CI/CD集成的建议。该方案既满足企业对数据安全与成本控制的需求，又提供了从数据处理到监控的一站式解决方案。
flink on k8s (flink-1.13.0 最新版本 application 部署方式)
weixin_36058946的博客
05-10 4174
flink on k8s (flink-1.13.0 最新版本 application 部署方式) run-application模式 （此方式一劳永逸，节省资源+数据隔离，集群之间不会相互影响） ①，将自己的项目jar包 和 flink镜像 打在一起生成新的镜像 （默认jdk是1.8，如果有jdk版本要求可将jdk的home目录一起打进镜像，然后通过配置文件内添加参数 env.java.home: /opt/flink/jdk-11.0.10+0 来指定jdk ） Dockerfile： FROM
flink-k8s-toolbox:Flink Kubernetes Toolbox是瑞士军刀，用于在Kubernetes上部署和管理Apache Flink
05-27
Flink Kubernetes工具箱 Flink Kubernetes Toolbox是瑞士军刀，用于在Kubernetes上部署和管理Apache Flink。 工具箱提供了本机命令flinkctl，可以在Linux机器或Docker容器上执行。 该命令同时实现了客户端和服务器组件，它们共同代表了在Kubernetes上运行Apache Flink的完整解决方案。 该命令基于Kubernetes运算符模式，它实现了自定义控制器，并且可以使用自定义资源。 特征 这是在工具箱中实现的主要功能的列表： 自动管理JobManager和TaskManager 自动管理集群中的作业 自动从临时故障中恢复 修改资源时自动重启集群或作业 停止作业前自动创建保存点（可选） 重新启动作业时自动从最新的保存点恢复 支持部署，集群和作业资源 支持批处理和流式作业 支持无作业的群集（裸群集） 支持具有一
Flink on k8s native application模式踩坑记录
Sword_Zhao的博客
09-06 1633
flink on k8s application模式部署踩坑
Flink On K8s
m0_50670853的博客
04-28 2601
一. 环境 1. 可用的k8s集群 2. 宿主机有flink 在这里插入图片描述 3. 创建k8s命名空间 # 创建namespace kubectl create namespace flink-session-test # 新建一个serviceaccount, 提交flink kubectl create serviceaccount flink -n flink-session-test # 绑定 kubectl create clusterrolebinding flink-role-bin
flink k8s HA 报ClusterRetrieveException: Could not get the rest endpoint
csdn问鼎
04-25 684
从源码中可以看到实现上的jobmanager 这个svc要以flink-cluster-rest 来命名才能解析到jobmanager地址。我是在用flink sql-client 提交任务发现的这个问题。
FLINK ON K8S 基于Zookeeper和基于K8S原生HA的区别
monkeyboy_tech的博客
10-13 1364
本文基于Flink 1.13.x。
Kubernetes搭建Flink会话集群
qq_24027439的博客
09-02 1635
Kubernetes搭建Flink会话集群 一、准备工作 linux 系统环境 ：linux系统采用的是Centos 8 、安装linux软件包管理工具yum 安装docker-ce yum install -y docker-ce 启动docker服务 systemctl start docker 查看docker运行状态 systemctl status docker 显示状态 [root@INMS-T ~]# systemctl status docker * docker.serv
flink on k8s
小王是个弟弟
08-04 4664
基于 kubeshpere 的 flink on k8s 实践
Flink On K8S
github_31020161的博客
08-04 387
动力 K8S基础能力有保障。 Flink 版本已升级至最新版。 Flink On Yarn的不足。 整体架构 实时平台 CICD(镜像构建) Flink On K8s(Ingress创建 Podtemplate) K8S Logger Metrics Alerts 网络模型 Kong nodePort Ingress (ingress-controller+ingress) Pod 状态存储 HDFS OSS 容量规划 网络带宽 任务热点 DNS解析 ...
flink on K8s native session模式如何指定high-availability.storageDir 为nfs
10-12
Flink on Kubernetes (K8s) 的 Native Session 模式下，如果想要将 High-Availability (HA) 存储目录设置为 NFS，你需要配置 Flink 集群的一些关键组件。以下是基本步骤： 1. **创建NFS共享**: - 确保你在集群内的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值