Flink资源调度模型

深入理解 Go 调度模型 GPM 深入理解 Go 调度模型 GPM,Go 语言中最大的一个特性就是天生支持并发,而这一功能体现的就是其调度模型 GPM 阅读详情

作者:王刚,腾讯CSIG高级工程师

Flink 资源模型 / 调度设计

背景知识

首先,我们来简单回顾一下 Flink 作业的运行时模型,然后再来探讨在这种运行模型下,Flink 的资源模型和调度架构的设计和实现。

我们引用官网非常经典的一张图,来说明一个 Flink 流作业简化后的运行视图。

Tasks 和 Operator Chains (部分译自官网)

我们知道,一个 Flink 作业可以看做是由 Operators 组成的 DAG,一个 Operator 代表对数据流的进行的某个数据变化操作( Sources 和 Sinks 也是代表数据流流入和数据流流出的特殊Operator )。在实际的分布式运行中,Flink 会把符合聚合规则的相邻 Operator 的 SubTask 聚合成 Tasks,每一个 Task 都会被单独的线程执行。这种把多个 Operator 的 SubTask 聚合成 Tasks 优化通常非常有效:能有效减少线程间切换(相比单独的每个operator的每个subtask占用一个线程)、数据缓存的成本,从而在降低数据处理延迟的同时增加系统的吞吐。

下图代表了数据流在 Operator Chain 之后,会实际产生 5 个 SubTask,相应的需要 5 个并发线程来处理该数据流。

86311aa72cc092bd806107cdb2532d84.png

在此,我们简要的区分下 Task 和 SubTask 的异同:

TaskTask 是 Flink Runtime 的运行的基本单元,Task 封装了一个 Operator 或 Operator Chain 的某一并行实例
SubTask一个 SubTask 是负责处理某一数据流的一部分的 Task,SubTask 术语强调对于同一个 Operator 或 Operator Chain 这里有多个并行的 Tasks。

所以,一个 Flink 的作业,最终会转化为一个个 Task 在集群上运行。我们接下来从 Task 运行维度分析,一层层来看 Flink 的资源模型设计。

资源模型

首先,我们介绍 Flink 基本的几个运行时概念。

Flink Job:

Flink程序提交到Flink Cluster运行后,会生成一个或者多个Flink jobs。根据上文的介绍,我们知道一个Flink job其实是数据流变换的运行时抽象。具体来讲,是由operator或者operator-chain组成的一个个Task进行数据处理的有向图。

Flink Cluster:

一个 Flink Cluster 一般是由一个 JobManager 和多个 TaskManager 组成的分布式系统。

JobManager:

JobManager 是 Flink Cluster 资源的编排器,负责协调 Flink Application 的分布式执行,具体职责有:  

1) 决定什么时候调度下一个 Task  

2)处理 Task 运行结束或者失败的情形

3)协调 Checkpoint 的触发和执行  

4)协调 Flink Job 在发生失败时的恢复行为  

5)其它情形。JobMananger 进程主要由三个不同的组件组成:

  • Flink ResourceManager

    ResourceManager 负责 Flink Clutster 资源的分配和回收工作,它管理着 Flink Cluster 的基本资源调度单元 Task Slots。Flink 针对不同的资源环境和运行环境(YARN、Kubernetes 和 standalone 模式等),有不同的 ResourceManager 实现。

  • Flink Dispatcher

       Dispatcher 提供了提交 Flink 应用的 REST 接口,并且负责为每一个提交的 Job 启动一个新的 JobMaster。另外,Dispatcher还提供了用来查询 Job 运行状态的 Flink WebUI。

  • Flink JobMaster

    JobMaster,顾名思义,负责管理一个单独的 Flink Job的运行。多个 Flink Jobs 可以同时运行在一个 Flink Cluster 中,每一个 Flink Job 都会有一个对应的 JobMaster。

TaskManager:

TaskManager 负责执行组成 Job 的 Tasks,并且会负责数据流之间的数据转发和缓存工作。Flink 运行时,必须有至少一个 TaskManager。一个 Task Manager 可能会被划分成多个 Slots,Slot 是 TaskManager 资源的一个子集, 也是 TaskManager 中最小的资源调度单位,Slot 的概念贯彻了资源调度过程的始终。

下面引用官网的一段材料来说明 Task Slot 和 Task 运行之间的关系。

Task Slots 和资源(摘自官网)

每个 TaskManager都是一个 JVM 进程,可以在单独的线程中执行一个或多个 SubTask。为了控制一个 TaskManager 中接受多少个 Task,就有了所谓的 Task Slots(至少一个)。

每个 Task Slot 代表 TaskManager 中资源的固定子集。例如,具有 3 个 Slot 的 TaskManager,会将其托管内存 1/3 用于每个 Slot。分配资源意味着 subtask 不会与其他作业的 subtask 竞争托管内存,而是具有一定数量的保留托管内存。注意此处没有 CPU 隔离;当前 Slot 仅分离 Task 的托管内存通过调整 Task Slot 的数量,用户可以定义 subtask 如何互相隔离。每个 TaskManager 有一个 Slot,这意味着每个 Task 组都在单独的 JVM 中运行(例如,可以在单独的容器中启动)。具有多个 Slot 意味着更多 subtask 共享同一 JVM。同一 JVM 中的 Task 共享 TCP 连接(通过多路复用)和心跳信息。它们还可以共享数据集和数据结构,从而减少了每个 Task 的开销。

4ece74a9ede45f66d5ec4fec6c7d1ebe.png

默认情况下,Flink 允许 SubTask 共享 Slot,即便它们是不同的 Task 的 SubTask,只要是来自于同一作业即可。结果就是一个 Slot 可以持有整个作业管道。允许 Slot 共享有两个主要优点:

Flink 集群所需的 Task Slot 和作业中使用的最大并行度恰好一样。无需计算程序总共包含多少个 Task(具有不同并行度)。

容易获得更好的资源利用。如果没有 Slot 共享,非密集 subtask(source/map()) 将阻塞和密集型 subtask(window) 一样多的资源。通过 Slot 共享,我们示例中的基本并行度从 2 增加到 6,可以充分利用分配的资源,同时确保繁重的 subtask 在 TaskManager 之间公平分配。

829b6a6007b97c7a7b318bff401ddbe5.png

调度模型

该小结部分内容引自 深入解读Flink资源管理机制 [4]

概览

Flink 的资源调度是一个典型的两层模型。其中从 Cluster 到 Job 的分配过程是由 Slot Manager 来完成,Job 内部分配给 Task 资源的过程则是由 Scheduler 来完成。如下图,Scheduler 向 Slot Pool 发出 Slot Request(资源请求),Slot Pool 如果不能满足该资源需求则会进一步请求 Resource Manager,具体来满足该请求的组件是 Slot Manager。

c555b4602714465b55a51b0efe5b64cd.png

Flink Cluster 到 Flink Job 资源调度过程

如下图,Cluster 到 Job 的资源调度过程中主要包含两个过程。

  • Slot Allocation(下图红色箭头)Scheduler 向 Slot Pool 发送请求,如果 Slot 资源足够则直接分配,如果 Slot 资源不够,则由 Slot Pool 再向 Slot Manager 发送请求(此时即为 Job 向 Cluster 请求资源),如果 Slot Manager 判断集群当中有足够的资源可以满足需求,那么就会向 Task Manager 发送 Assign 指令,Task Manager 就会提供 Slot 给 Slot Pool,Slot Pool 再去满足 Scheduler 的资源请求。

  • Starting TaskManagers(下图蓝色箭头)在 Active Resource Manager 资源部署模式下,当 Resource Manager 判定 Flink Cluster 中没有足够的资源去满足需求时,它会进一步去底层的资源调度系统请求资源,由调度系统把新的 Task Manager 启动起来,并且 TaskManager 向 Resource Manager 注册,则完成了新 Slot 的补充。

32a03d8eae09f0728f61b110ff7ebd06.png

Flink Job 到 Task 调度过程

JobMaster 中的 Scheduler 组件,会根据 Execution Graph和 Task 的执行状态,决定接下来要调度的 Task。

我们已经知道 Flink 是通过 Task Slots 来定义执行资源。每个 TaskManager 有一到多个 task slot,每个 task slot 可以运行一条由多个并行 task 组成的流水线。这样一条流水线由多个连续的 task 组成,比如并行度为 n 的 MapFunction 和 并行度为 n 的 ReduceFunction。需要注意的是 Flink 经常并发执行连续的 task,不仅在流式作业中到处都是,在批量作业中也很常见。

下图很好的阐释了这一点,一个由数据源、MapFunction 和 ReduceFunction 组成的 Flink 作业,其中数据源和 MapFunction 的并行度为 4 ,ReduceFunction 的并行度为 3 。流水线由一系列的 Source - Map - Reduce 组成,运行在 2 个 TaskManager 组成的集群上,每个 TaskManager 包含 3 个 slot,整个作业的运行如下图所示。

febc2922b7eba7721bc65364c2161597.png

Flink 内部通过 SlotSharingGroup [5] 和 CoLocationGroup [6] 来定义哪些 Task 可以共享一个 Slot, 哪些 Task 必须严格放到同一个 Slot。

注:本文主要内容收集整理自Flink官网和公开的技术博客

参考资料

[1] Flink 官网--Flink Architecture:https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/concepts/flink-architecture/  

[2] Flink 官网--Jobs and Scheduling:https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/internals/job_scheduling/  

[3] Flink 官网--Task Lifecycle:https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/internals/task_lifecycle/  

[4] 深入解读 Flink 资源管理机制:https://www.infoq.cn/article/tnq4vystluqfkqzczesa  

[5] SlotSharingGroup:https://github.com/apache/flink/blob/release-1.15//flink-runtime/src/main/java/org/apache/flink/runtime/jobmanager/scheduler/SlotSharingGroup.java  

[6] CoLocationGroup:https://github.com/apache/flink/blob/release-1.15//flink-runtime/src/main/java/org/apache/flink/runtime/jobmanager/scheduler/CoLocationGroup.java  

大数据领域Flink的资源调度与优化策略 在大数据流处理场景中,Flink凭借低延迟、高吞吐量的特性成为行业首选,但资源调度明明分配了足够的资源,作业却因背压(Backpressure)导致延迟飙升;为了“保险”配置了过多资源,结果CPU利用率不足30%,造成巨大成本浪费;切换到K8s部署后,资源申请频繁失败,不知道如何适配容器环境的调度逻辑。这些问题的根源,在于没有真正理解Flink的资源调度机制——它不是简单的“分配内存和CPU”,而是涉及Slot模型、任务链、部署模式、动态调整等一系列复杂逻辑。本文将从原理层到实践层。 阅读详情

相关推荐

Flink 资源管理机制

基本概念 1.1 相关组件 我们今天介绍的主要是与 Flink 资源管理相关的组件,我们知道一个 Flink Cluster 是由一个 Flink Master 和多个 Task Manager 组成的,Flink Master 和 Task Manager 是进程级组件,其他的组件都是进程内的组件。 图 1. Flink 资源管理相关组件 如图 1 所示,一个 Flink Master 中有一个 Resource Manager 和多个 Job Manager ,Flink Master 中每一个 .

weixin_51217776的博客 317

【云计算与大数据技术】资源管理、调度模型策略的讲解

【云计算与大数据技术】资源管理、调度模型策略的讲解

showswoller的博客 2147

Flink实时流处理框架原理与应用:面试经验与必备知识点解析

本文将深入探讨Flink实时流处理框架的原理、应用,以及面试必备知识点与常见问题解析,助你在面试中展现出深厚的Flink技术功底。

zevjay的博客 1049

Flink原理——任务调度原理

原文链接:https://mp.toutiao.com/profile_v4/graphic/preview?pgc_id=6857894528381092364 本文主要从以下几个方面介绍Flink的任务调度原理 一、Flink运行时的组件 二、TaskManger与Slots 三、程序与数据流 四、Flink的执行图 五、Flink程序执行的并行度 六、Flink程序任务链 一、Flink运行时的组件 Flink的运行组件 Flink 运行时架构主要包括四个不同的组件,它们会在运

静远小和尚的博客 3400

【大数据AI人工智能大模型原理与应用实战系列】Flink的资源管理和任务调度

随着大数据时代的到来,数据的规模和复杂性都在不断增加。传统的批处理系统已经无法满足实时数据处理的需求,因此流式计算应运而生。Apache Flink作为新一代分布式流式计算框架,具有低延迟、高吞吐、精确一次语义等优点,被广泛应用于各行各业。然而,Flink作为一个分布式系统,资源管理和任务调度是其核心能力,直接影响着系统的性能、可靠性和扩展性。资源分配算法: 用于从资源池中获取合适的资源,并将Task分配到这些资源上。调度算法: 用于将Task分配到合适的Task Slot上运行。容错恢复算法。

AI天才研究院 638

大数据领域Flink的任务优先级调度

在大数据处理场景中,Flink作为一款强大的流处理框架,常常需要处理多个不同类型和重要性的任务。任务优先级调度的目的在于确保高优先级任务能够优先获得资源并及时执行,从而提高整体系统的性能和响应速度。本文的范围涵盖了Flink任务优先级调度的核心概念、算法原理、数学模型、实际应用以及相关工具和资源推荐等方面。本文将按照以下结构进行组织:首先介绍相关背景知识,包括术语和核心概念;接着详细阐述核心算法原理和具体操作步骤,并给出数学模型和公式;然后通过项目实战展示如何在实际中应用任务优先级调度;探讨其实际应用场景。

大数据洞察的博客 692

Flink 内容分享(十四):美团 Flink 资源调度优化实践

一个简单有效的思路就是冗余申请,通过申请过量资源的方式,使作业所需的资源全部就绪,从而规避节点故障导致的资源就绪慢或者无法就绪的问题。与此同时,我们打通了 Yarn 的健康检查机制,因为一些人力和成本的原因,我们使用了基于 zk 的共享存储,黑名单服务发布异常节点信息,Yarn 监听并完成异常节点的处理。右侧是黑名单的处理部分,我们通过维护一个外围的黑名单服务,统一接受上一步识别出的异常节点,并把它们发送给资源管理服务或 Flink 作业来处理。通过这样的策略,我们在资源就绪时效性和资源成本中,取得平衡。

之乎者也·的博客 1203

大数据领域Flink的任务调度算法解析

想象一下2023年"双11"购物节的场景:每秒数十万笔订单涌入系统,实时库存需要即时更新,支付状态需毫秒级确认,物流信息要动态追踪,同时还要实时计算优惠满减和用户画像。这背后是每秒TB级的数据洪流,而支撑这一切的,正是像Apache Flink这样的流处理引擎。但鲜为人知的是,在这些复杂计算背后,有一个"交通指挥官"正在默默工作——。

软件工程实践的博客 659

资源调度_Apache Flink P6:新的资源调度模型

作者:Paul Lin出处:http://www.whitewood.me/2018/06/17/FLIP6-%E8%B5%84%E6%BA%90%E8%B0%83%E5%BA%A6%E6%A8%A1%E5%9E%8B%E9%87%8D%E6%9E%84/创作不易,欢迎转载,但必须在文章开头保留此段声明,否则保留追究法律责任的权利。2048年5底 Apache Flink 迎来了 1.x.y 版本...

weixin_35886058的博客 467

linux中的sendmail发送邮件

linux下的sendmail发送邮件

无痕的博客 6436

车载仪表-功能点测试大全(超详细,细分可作测试用例)

汽车仪表系统发展经历了机械式、电气化到智能化的演变,目前全液晶仪表渗透率达73.4%。文章详细梳理了仪表功能测试要点,包括UI界面显示一致性、按键响应、FM收音、信号灯显示、USB功能、蓝牙连接、胎压监测、导航系统、WiFi投屏、倒车影像及多媒体播放等关键功能模块的测试标准。特别关注界面切换流畅度、功能稳定性及异常情况处理能力,如投屏状态下是否卡顿、导航中断后能否自动恢复等。测试覆盖了CarPlay、AndroidAuto等主流投屏方案的兼容性验证,确保各类交互场景下的系统可靠性。

weixin_51551002的博客 2070

数仓系列 | 深入解读 Flink 资源管理机制

精选30+云产品,助力企业轻松上云!>>> 整...

程序员小陶的大数据分享 215

解锁Cherry Studio高阶玩法:用MCP实现自动化测试与数据爬取

本文深入探讨了如何利用MCP协议与Cherry Studio结合,实现自动化测试与数据爬取的高阶应用。通过Playwright等工具的MCP集成方案,详细解析了自动化测试流水线构建和智能爬虫系统开发的关键技术,显著提升工程效率和系统适应性。

defi6farmer的博客 277

Flink资源管理机制

一、基本概念1.1 相关组件Flink资源管理相关的组件:一个Flink Cluster是由一个Flink Master 和多个Task Manager 组成的Master和TaskMa...

qianshanding0708的博客 294

MT6768平台Sensor Bring Up全流程实战:从驱动添加到问题排查(附避坑指南)

本文详细介绍了联发科MT6768平台Sensor Bring Up的全流程实战指南,从驱动添加、硬件配置到问题排查,提供了全面的避坑建议。内容涵盖环境准备、驱动文件集成、硬件接口配置、编译系统适配以及常见问题解决方案,帮助开发者高效完成传感器集成与调试工作。

weixin_30374009的博客 417

Windows部署小龙虾 OpenClaw 报错不断?参考这篇文章,轻松配置 OpenClaw 所需环境

想在Windows上部署OpenClaw却频频报错?🔧 本文详细梳理了OpenClaw部署必需环境的安装步骤和官方下载地址 📦,提供完整的验证清单和常见问题排查方法,帮你一次性搞定所有环境配置,顺利部署OpenClaw ✅

XiaoqiangClub的博客 365

史上最全Flink面试题(完整版)

Flink是一个分布式流处理框架,支持对有界和无界数据流进行状态计算。其核心特点包括流批一体化、事件驱动模型、高性能低延迟、容错机制和灵活编程模型。Flink采用Source→Transformation→Sink的编程模型,运行架构包含JobManager、TaskManager和Client三种角色。 Flink提供多种时间语义(事件时间、注入时间、处理时间)和窗口类型(滚动、滑动、会话窗口),并引入Watermark机制处理乱序数据。其容错机制基于Checkpoint和State实现,支持Exactl

zh_19995的博客 6767

时空智友企业流程化管控系统文件上传漏洞

时空智友企业流程化管控系统是一个功能丰富、灵活可定制的企业管理工具。通过该系统,企业能够实现流程的自动化、协同的提升、数据的洞察和决策的优化,从而提高工作效率、管理水平和企业竞争力。时空智友企业流程化管控系统 formservice接口处存在任意文件上传漏洞,未经认证的攻击者可通过此接口上传后门文件,最终可导致服务器失陷。

holyxp的博客 1036

Flink Batch SQL 1.10 实践

Flink作为流批统一的计算框架,在1.10中完成了大量batch相关的增强与改进。1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本,它一扫之前Dataset的羸弱,从功能和性能上都有大幅改进,以下我从架构、外部系统集成、实践三个方面进行阐述。 架构 Stack 首先来看下stack,在新的Blink planner中,batch也是架设在Transformation上的...

zhaowei121的博客 466

YOLOv11改进 | 模型知识蒸馏篇 | 利用模型蒸馏改进YOLOv11进行无损涨点 | 离线蒸馏(附代码 + 完整文件 + 解析教程)

这篇文章给大家带来的最新改进是模型的蒸馏,利用教师模型指导学生模型从而进行模型的涨点,本文的内容不仅可以用于论文中,在目前的绝大多数的工作中模型蒸馏是一项非常重要的技术,所以大家可以仔细学习一下本文的内容,本文从YOLOv8的项目文件为例,进行详细的修改教程,文章内包括完整的修改教程,针对小白我出了视频修改教程,如果你还不会我提供了修改后的文件大家直接运行即可,所以说不用担心不会适用!模型蒸馏真正的无损涨点,蒸馏你只看这一篇文章就足够了!欢迎大家订阅我的专栏一起学习YOLO!

Snu77的博客 4329

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

flink入门_Flink从入门到放弃之源码解析系列-第8章 任务调度与负载均衡

Flink从入门到放弃之源码解析系列Flink组件和逻辑计划Flink执行计划生成JobManager中的基本组件(1)JobManager中的基本组件(2)JobManager中的基本组件(3)TaskManager算子网络水印WaterMarkCheckPoint任务调度与负载均衡异常处理Alibaba Blink新特性1前言前面已经介绍了一系列的 flink 任务抽象、网络传输、可靠性机制等...

weixin_39970823的博客 535

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

深入解读 Flink 资源管理机制

整理:王文杰(Flink 社区志愿者)摘要:本文根据 Apache Flink 系列直播整理而成,由阿里巴巴高级开发工程师宋辛童分享。文章主要从基本概念、当前机制与策略、未来发展方向等三...

大数据星球-浪尖 403

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Flink 内容分享(十一):Flink面试题总结(二)

Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理,支持Java、Scala和Python。,对数据流进行流处理操作,将流式的数据抽象成分布式的数据流,用户可以方便地对分布式数据流进行各种操作,支持Java和Scala。Table API。

之乎者也·的博客 1390
上一篇: ​Elastic Stack最佳实践系列:Beats->ES,一个更轻型的架构选择
下一篇: 单集群1万节点!腾讯云大数据平台TBDS获得分布式批处理平台万节点能力认证...
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值