Flink的运行时环境由JobManager和TaskManager构成，JobManager作为协调者负责任务调度、检查点和恢复，而TaskManager执行任务并处理数据流。提交Flink作业时，Client预处理后以JobGraph形式提交给JobManager。TaskManager注册后可执行任务，通过任务槽控制并发。保存点和检查点用于状态恢复，后端存储保存键值对状态。
Flink 运行时环境由两种类型进程组成，JobManager和TaskManager
- JobManager，也称为 master，用于协调分布式执行。负责调度任务，检查点，失败恢复等。
- TaskManager，也称为 worker，用于执行数据流图的任务（更准确地说，是计算子任务），并对数据流进行缓冲、交换。Flink 运行环境中至少包含一个任务管理器。
Flink作业流程
Flink集群启动时，会启动一个JobManager进程、至少一个TaskManager进程。
在Local模式下，会在同一个JVM内部启动一个JobManager进程和TaskManager进程。当Flink程序提交后，会创建一个Client来进行预处理，并转换为一个并行数据流，这是对应着一个Flink Job，从而可以被JobManager和TaskManager执行。
在实现上，Flink基于Actor实现了JobManager和TaskManager，所以JobManager与TaskManager之间的信息交换，都是通过事件的方式来进行处理。 如上图所示，Flink系统主要包含如下3个主要的进程：
关于JobManager
JobManager是Flink系统的协调者，它负责接收Flink Job，调度组成Job的多个Task的执行。同时，JobManager还负责收集Job的状态信息，并管理Flink集群中从节点TaskManager。
JobManager所负责的各项管理功能，它接收到并处理的事件主要包括：
- RegisterTaskManager
在Flink集群启动的时候，TaskManager会向Jo
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
