Flink ResourceManager资源管理

一.基本概念

1.1 相关组件

一个 Flink Cluster 是由一个 Flink Master 和多个 Task Manager 组成的，Flink Master 和 Task Manager 是进程级组件，其他的组件都是进程内的组件。

一个FlinkMaster中有有一个ResourceManager中多个JobManager,Flink Master中每一个JobManager单独管理一个具体的Job，JobManager中的Scheduler组件负责调度执行该Job的DAG中所有Task，发出资源请求，即整个资源调度的起点；JobManager中Slot Pool组件持有该 Job 的所有资源。另外，FlinkMaster中唯一的ResourceManager负责整个 Flink Cluster 的资源调度以及与外部调度系统对接，这里的外部调度系统指的是 Kubernetes、Mesos、Yarn 等资源管理系统。

Task Manager 负责 Task 的执行，其中的 Slot 是 Task Manager 资源的一个子集，也是 Flink 资源管理的基本单位，Slot 的概念贯穿资源调度过程的始终。