Flink session集群运维

原创 已于 2025-01-17 14:55:05 修改 · 423 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#运维 #flink #linux

于 2023-10-09 11:22:46 首次发布
文章讲述了在Kubernetes环境中Flink集群遇到jobmanager挂掉的问题，涉及删除jobmanager和taskmanager的操作，以及如何强制删除并最终重新部署Flink集群的过程。

1、集群job manager挂了

kubectl describe pod session-deployment-only-84b8d674c7-ckl9w -n flink

kubectl get pod -n flink -owide

kubectl describe pod session-deployment-only-84b8d674c7-ms758 -n flink

两个job manager都挂了

准备重新部署集群

删除操作(删除flink集群时使用)

kubectl delete -f /opt/dockerfile/flink/session-deployment-only.yaml

最低0.47元/天 解锁文章
大数据领域Flink的集群搭建与优化
2501_92132293的博客
09-21 989
Apache Flink作为流优先的分布式计算引擎，凭借低延迟、Exactly-Once语义和流批一体能力，成为大数据实时处理的事实标准。本文从第一性原理出发，系统拆解Flink集群的核心架构与运行机制，手把手教你完成YARN与K8s环境下的集群搭建，并深入探讨生产级优化策略——从资源隔离到状态管理，从Checkpoint调优到故障恢复。无论是入门者还是资深工程师，都能通过本文掌握“从0到1搭建稳定Flink集群+从1到100优化性能”的全链路能力。Flink集群的核心目标是。
Flink部署指南：深入解析单机与集群模式
数据与算法架构提升之路专栏
09-22 926
在YARN上使用Flink有3种模式：Per-Job模式、Session模式和Application模式。 在Standalone上使用Flink有3种模式：Per-Job模式、Session模式和Application模式。
Flink流批一体计算（8）：Flink常见Shell命令
victory0508的专栏
06-28 2040
Flink提供了一个命令行界面（CLI）bin/Flink，用于运行打包为JAR文件的程序并控制其执行。CLI是任何Flink设置的一部分，可在本地单节点设置和分布式设置中使用。它连接到conf/flink-conf.yaml中指定的正在运行的JobManager。操作用途使用启动一个常驻的Flink集群，接受来自客户端提交的任务。run提交Flink作业，作业既可以被提交到一个常驻的Flink集群上，也可以使用单机模式运行。以模式执行作业。info用于打印作业的优化执行图。
联通 Flink 实时计算平台化运维实践
Ververica的博客
07-13 1141
联通数科实时计算团队负责人、Apache StreamPark Committer 穆纯进在 Flink Forward Asia 2022 平台建设专场的分享。
Flink部署与应用——Flink集群模式
从知识输入到知识输出
06-27 1424
Flink部署与应用——Flink集群模式
Flink on YARN 运维实战手册（简约电子手册）
学亮编程手记
10-03 920
模式：Session 模式 / Per-Job 模式。
Flink 的集群部署模式有哪些？
热门推荐
Shockang的博客
07-15 3万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 根据以下两种条件将集群部署模式分为三种类型: 集群的生命周期和资源隔离; 根据程序main()方法执行在 Client 还是 JobManager Session 集群运行模式（Session Mode） JobManager 与 TaskManager 共享 客户端通过 RPC 或 Rest A
Flink集群架构
靡不有初，鲜克有终
06-17 744
在上一章节我们对flink有了一个基本的了解。从它的应用的场景以及它的一些基本的一些核心的一些概念。从本章节开始，我们对flink从它的一个集群的一个架构以及它的一个部署模式着手，去了解flink如何去部署在不同的这样的一个集群的一些资源管理器上面，以及相应的一些原理的一些解析。本节课开始我们了解一下flink的一个集群的一个基本的架构，了解里面核心的一些组件，比如说dropmanager，taskmanager以及jobgraph等一系列的这样的一些集群的一些组件的一些架构。 我们首先来看一下fl
Flink运维手册
2201_76110643的博客
08-23 912
可以通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到远程。这种方式下，Flink本身的依赖和用户jar可以预先上传到HDFS，而不需要单独发送到集群，这就使得作业提交更加轻量了。在集群中初始化一个长时间运行的Flink集群，使用yarn-session.sh脚本。使用flink run命令向Flink集群中提交任务。/examples/batch/WordCount.jar #向这个Flink集群中提交任务，此时使用Flink中的内置案例。是指定主节点的内存，
Apache Flink Session集群与Per-Job集群对比：选型建议
gitblog_00841的博客
09-30 218
在Apache Flink的部署方案中，Session集群与Per-Job集群是两种主流的资源管理模式。Session集群（Session Mode）采用共享集群资源的方式，允许多个作业提交到同一个集群中执行；而Per-Job集群（Per-Job Cluster Mode）则为每个作业单独创建一个专用集群，作业完成后集群自动销毁。 官方文档中对这两种模式的定义如下： - **Session集群*...
Kubernetes搭建Flink会话集群
qq_24027439的博客
09-02 1636
Kubernetes搭建Flink会话集群 一、准备工作 linux 系统环境 ：linux系统采用的是Centos 8 、安装linux软件包管理工具yum 安装docker-ce yum install -y docker-ce 启动docker服务 systemctl start docker 查看docker运行状态 systemctl status docker 显示状态 [root@INMS-T ~]# systemctl status docker * docker.serv
Flink集群运行模式
靡不有初，鲜克有终
06-17 1189
我们了解了flink的一个集群的一个基础架构，包括里面核心的一些组件，比如说jobmanager，taskmanager等一些组件的一些主要的一些组成。本节课程开始我们学习flink的一个集群部署模式。首先我们来看一下flink集群部署模式究竟应该有哪一些种类。我们根据两种条件将flink集群部署模是分成三种类型。两种条件究竟是哪两种条件？第一个就是整个根据集群的一个生命周期和它的一个资源隔离不同，我们整个集群的生命周期的话是在我们对定的这样的一个不同的这样的一个模式里面的话，它生命周期有一定的区别。比
Linux性能调优详解FIO性能测试的几个常用场景
运维老生常谈
11-29 679
fio是测试存储系统非常重要的工具，能够快速检测出磁盘的IOPS、吞吐能力，以及时间延迟。该工具能够发起指定类型的IO操作，例如顺序读写、随机读写。同时还可以发起多线性，模拟高负载场景。针对常用的IOPS、吞吐量、时延，如何有效利用fio工具，下面进行详细的讲解。
Docker：基于自制openjdk8镜像 or 官方openjdk8镜像，制作tomcat镜像
2509_94186151的博客
11-29 539
78.56 MBopenjdk二进制下载地址Dockerfile中，source /etc/profile不能加载的原因为什么还需要选择使用他的原因：三 中，tomcat普通用户交互式启动tomcat#在 Docker 容器中，/etc/profile 文件不会在容器启动时自动执行，这是因为 Docker 容器通常不会启动交互式登录 shell，而是直接运行指定的命令。
(11) KVM基于内核的虚拟机
最新发布
qq_43457850的博客
12-02 932
因为这个漏洞问题是由cpu架构设计,后期芯片生产之后产生的,那么直接在芯片设计或生产的时候,把漏洞堵上。现在的x86架构,默认全部都要依赖CDou的硬件辅助虚拟化方案。VMware软件完全虚拟化,和早期xen半虚拟化,他们现在都都要依赖于硬件辅助虚拟化。VMware因为有cpu硬件辅助虚拟化支持,性能会非常好。Vmware在不开启硬件辅助的前提下,能不能创建虚拟机呢?可以创建:2位的虚拟机,但不能创建64位虚拟机。
《踩坑日记：差分OTA包生成错致升级失败，后来才知道校验源版本哈希》
etower的博客
11-27 628
给每个设备准备"性格说明书"（就像养宠物）建立"异常行为观察期"（别急着关闭报警，先看看是不是设备在耍脾气）预留"人工接管通道"（当系统开始表演杂技时，你得能及时按下暂停键）现在我的智能花盆已经恢复平静，但每天早上依然会准时播放《致爱丽丝》——这是我在崩溃后新增的安全提醒。毕竟在物联网的世界里，优雅的故障处理，就是给失控的爱情写一封体面的分手信。
【Linux系统】ext2文件系统
HZzzzzLu的博客
12-01 806
本文介绍了磁盘的基本概念、分类和存储结构。首先将磁盘分为HDD（机械硬盘）和SSD（固态硬盘），并比较了两者的优缺点。随后详细讲解了磁盘的物理结构，包括盘片、磁头、主轴和臂架等组件。在存储结构部分，重点阐述了CHS（柱面-磁头-扇区）寻址方式与LBA（逻辑块地址）之间的转换关系，以及操作系统如何通过块、分区和分组管理磁盘空间。最后介绍了文件系统中的关键数据结构inode，它用于存储文件的元数据信息，实现文件属性和内容的分离存储。全文系统性地梳理了磁盘的工作原理和操作系统对磁盘的管理机制。
docker基础-cgroup
2303_77303297的博客
11-27 734
cgroup是 Linux 内核提供的一种物理资源管理机制，能实现对进程组的资源限制、记录、隔离与控制，是 Docker、LXC 等容器技术实现资源管控的核心基础之一,用来规定虚拟容器可以使用的资源常用pidstat和stress两个工具来进行cgroup的资源监控和压力测试。
天机学堂-day2(我的课表)
weixin_68576312的博客
12-01 884
本文基于《天机学堂》开源项目，介绍了从创建虚拟机到部署项目的完整流程。文章首先提供了服务启动建议，推荐在虚拟机中启动tj-auth、tj-gateway和tj-exam等核心服务。重点分析了"支付或报名课程后加入课表"的MQ接口实现，详细讲解了调用链路追踪方法，包括后台接口定位、微服务查找和MQ消息处理逻辑分析。最后展示了具体的代码实现，包括MQ监听器的配置和服务层的事务处理逻辑，通过CourseClient获取课程信息并批量添加到用户课表中。文章为开发者提供了实用的部署指南和接口开发示
Dinky：一站式实时计算平台与Flink集成实践
4. **一站式服务**：从FlinkSQL的开发调试到上线运维监控，Dinky覆盖了整个流程，提供SQL查询执行能力，实现数据仓库建设和数据治理的一体化。 5. **易扩展性**：Dinky的源码采用SPI插件化设计，通过各种设计模式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值