li72767的博客

本文从Flink Resource Manager为每个Execution节点组进行计算资源的申请与启动TaskManager开始解析。解析Flink Resource Manager管理自身计算资源，并为节点组向Yarn  Resource Manager申请封装Cpu与内存资源的Container，进而为节点组启动新的TaskManager的过程。

本文为Flink对SchedulingPipelinedRegion进行计算资源的申请与调度的源码解析

本文解析了ExecutionGraph的ExecutionJobVertex节点、ExecutionVertex节点、IntermediateResult数据集、IntermediateResultPartition数据集分区与封装Task执行信息的Execution的创建；解析了ExecutionJobVertex节点与前置的IntermediateResult数据集的连接，及SchedulingPipelinedRegion的划分。

Flink是Apache软件基金会下开源的分布式流批一体计算框架，具备实时流计算和高吞吐批处理计算的大数据计算能力。本专栏内容为Flink源码解析的记录与分享。本文解析的Flink源码版本为：flink-1.19.0以下为Flink-1.19.0-完整源码详解的目录导航。1.《》(重点)2.《3.《4.《》(重点)5.《》(重点)6.《》(重点)7.《8.《》(重点)9.《Flink-1.19.0源码详解9-ExecutionGraph生成-后篇》(重点)

本文解析了Apache Flink 1.19.0中ExecutionGraph生成的完整源码。解析了Flink JobMaster通过对JobVertex的进行遍历，依次生成ExecutionJobVertex、ExecutionVertex、IntermediateResult、IntermediateResultPartition和其连接关系，构建ExecutionGraph图的完整过程。

本文从Flink集群接收Flink客户端请求开始解析Flink集群端的调度。解析Flink集群Dispatcher接收了CliFrontend客户端发送的Request，从hdfs拉取JobGraph文件、Jar包和Artifacts依赖  ，创建并启动JobMaster开始Flink集群端的调度。

本文从Flink执行StreamExecutionEnvironmentd.execute()方法开始，解析Flink JobGraph生成的源码，解析Flink遍历StreamGraph每个StreamNode节点，逐步生成JobVertex节点、JobEdge边和IntermediateDataSet数据，逐步构建并序列化JobGraph图的完整源码。

JonbGraph图与JobVertex节点、JobEdge边、IntermediateDataSet数据集的补充解析。

StreamGraph图与StreamNode节点、StreamEdge的补充解析。

本文从Flink执行StreamExecutionEnvironmentd.execute()方法方法,进行JobGraph生成开始，解析Flink JobGraph生成的源码，解析Flink遍历StreamGraph每个StreamNode节点，逐步生成JobVertex节点、JobEdge边和记录节点结果输出的IntermediateDataSet，逐步构建JobGraph图的完整源码。

本文从Flink执行StreamExecutionEnvironment.execute()方法进入任务调度开始，解析Flink StreamGraph生成的源码（内容为下流程图的红色部分），解析Flink遍历Transformation集合，逐步生成StreamNode与StreamEdge，构建StreamGraph图的完整源码。

本文通过解析源码，以WordCount为例子分别解析在Flink源码中Map和Reduce算子是如何在Flink中定义和执行。

本文从Flink主类的main()方法开始解析，解析Flink主类main()方法运行后，Flink程序逐步将研发人员编写的DataStream数据流转换为Flink Transformation集合并添加到StreamExecutionEnvironment上下文环境的过程。

本文解析的Flink源码为Flink CliFrontend客户端的启动。Flink CliFrontend启动内容主要是用户通过bin/flink run命令启动Flink的CliFrontend客户端的Java程序，CliFrontend客户端解析提交参数、生成配置与上下文环境、执行Flink的主程序。

Flink on Yarn的三种部署模式解析

本文内容的Flink每级计算调度与任务执行的源码解析，从头到尾梳理了Flink如何从DataStreamAPI经过Transformation、StreamGraph、JobGraph、ExecutionGraph、物理执行图等多级计算拓扑构建与计算调度，最终在TaskManager分布式执行的过程，并对各级调度的核心源码进行记录与解读。