flink任务提交流程和调度原理

flink任务提交流程

 

1. Client向HDFS上传Flink的Jar包和配置。

2. Client向Yarn ResourceManager提交任务。

3. ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster，ApplicationMaster启动后加载Flink的Jar包和配置构建环境，然后启动JobManager。

4. ApplicationMaster向ResourceManager申请资源启动TaskManager，ResourceManager分配Container资源后，由ApplicationMaster通知资源所在节点的NodeManager启动TaskManager。

5. NodeManager加载Flink的Jar包和配置构建环境并启动TaskManager，TaskManager启动后向JobManager发送心跳包，并等待JobManager向其分配任务。

任务调度原理

flink架构图

 

Flink组成部分

• Program Code

我们编写的 Flink应用程序代码。

• Job Client

Job Client是任务执行的起点，负责接受用户的程序代码，然后创建数据流，将数据流提交给 Job Manager执行， 执