Apache Flink构架

最新推荐文章于 2025-12-01 20:47:27 发布

原创最新推荐文章于 2025-12-01 20:47:27 发布 · 238 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink

本文深入剖析Apache Flink的架构，包括Operator Chains的概念，Job Manager和Task Manager的角色，Task Slots与资源管理，以及State Backends和Savepoints/Checkpoints在容错中的作用。Flink通过Operator Chaining优化任务执行，Task Manager执行SubTask，Job Manager负责调度和故障恢复，State Backend用于存储状态数据，而Savepoints和Checkpoint确保了系统的容错能力。

Apache Flink(二)

架构剖析

推荐阅读：https://ci.apache.org/projects/flink/flink-docs-release-1.9/concepts/runtime.html

Tasks&Operator Chains

“Oprator Chain”:将多个操作符合并到一个Task中，减少不必要的任务间网络通信。

“Task”:类似于Spark中Stage，将任务拆分成若干个阶段。

“SubTaks”:每个Task都有任务执行并行度，每个Task根据并行度拆分成若干个SubTask（等价于线程）

Operator Chain效果

在这里插入图片描述

Operator Chain关闭

在这里插入图片描述

Job Managers, Task Managers, Clients

在这里插入图片描述
JobManagers：称为Master，负责分布式任务调度，调度Task执行，协调checkpoint，实现故障恢复。

There is always at least one Job Manager. A high-availability setup will have multiple JobManagers, one of which one is always the leader, and the others are standby.

TaskManagers :称为Worker节点，负责执行Dataflow Graph（DAG）中SubTask，负责数据缓冲和交换。主动连接JobManager，声明自身状态信息和汇报应经分配的任务。

There must always be at least one TaskManager.

client ：并不是运行时一个部分（和Spark Driver不同），负责生成或者发送dataflow给JobManager。

用户可以通过WebUI或者flink run运行代码

Task Slots & Resources

每个TaskManager是一个JVM进程，执行1~N个SubTask（等价线程），TaskSolts表示一个TaskManager所能接受的任务数，TaskSlot越多说明该节点结算能力越强。

Each task slot represents a fixed subset of resources of the TaskManager. A TaskManager with three slots, for example, will dedicate 1/3 of its managed memory to each slot. Slotting the resources means that a subtask will not compete with subtasks from other jobs for managed memory, but instead has a certain amount of reserved managed memory. Note that no CPU isolation happens here; currently slots only separate the managed memory of tasks.

TaskSlot会对计算节点内存进行均分，不同的Job持有不同TaskSlot，继而程序在运行时实现内存隔离。任意job在执行之前都必须分配额定数据的TaskSlot，这些TaskSlot和该job中最大的Task并行度相等。

不同Job间通过TaskSlot进行隔离
同一个Job的不同Task的SubTask之间可以共享slot
同一个Job的相同Task的SubTask之间不可以共享slot

在这里插入图片描述

资源隔离：https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/operators/#task-chaining-and-resource-groups

State Backends（状态后端）

Flink是一个有状态的计算框架，所有的计算状态数据存储在内存中或者是RocksDB中，这取决于state backend策略的选取。默认情况下Flink的backend状态数据存在JobManager的内存中，一般用作测试环境（数据集非常小）。如果在生产环境下一般会采取以下两种状态后端：filesysterm,rocksdb.由于流计算在JobManager的管理下会定期的进行checkpoint机制，存储计算的快照信息，快照信息会根据state backend后端实现，将状态数据持久化起来。

在这里插入图片描述

Savepoints&Checkpoint

Flink的流计算可以从savepoint进行恢复，savepoint使得程序在升级的时候，可以依然保持升级以前的计算状态。Checkpoint是由JobManager定期触发checkpoint机制，用于将计算状态存储在backend中，当完成了最新checkpoint之后，系统会自动删除older checkpoint数据。相比较于checkpoint而言，Savepoint是通过手动方式触发checkpoint，触发的结果不会被删除。