flink的任务提交流程

最新推荐文章于 2024-09-26 19:24:27 发布

肥宅小谢

最新推荐文章于 2024-09-26 19:24:27 发布

阅读量1.3k

点赞数

分类专栏： flink

本文链接：https://blog.youkuaiyun.com/xiao_xie_xie/article/details/117689012

版权

flink 专栏收录该内容

3 篇文章

订阅专栏

本文详细介绍了Flink任务在YARN集群上的提交过程，包括Client上传Jar包和配置，ResourceManager分配Container，ApplicationMaster启动JobManager，以及TaskManager的启动和任务分配等关键步骤。理解这一流程对于优化Flink作业的部署和管理至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我们来看看当一个应用提交执行时，Flink 的各个组件是如何交互协作的：
在这里插入图片描述
上图是从一个较为高层级的视角，来看应用中各组件的交互协作。如果部署的集群环境不同（例如 YARN，Mesos，Kubernetes，standalone 等），其中一些步骤可以被省略，或是有些组件会运行在同一个 JVM 进程中。具体地，如果我们将 Flink 集群部署到 YARN 上，那么就会有如下的提交流程：

1.Flink 任务提交后， Client 向 HDFS 上传 Flink 的 Jar 包和配置，之后向 Yarn ResourceManager 提交任务，
2.ResourceManager 分配 Container 资源并通知对应的 NodeManager 启动 ApplicationMaster，
3.ApplicationMaster 启动后加载 Flink 的 Jar 包和配置构建环境，然后启动 JobManager，
4.之后 ApplicationMaster 向 ResourceManager 申请资源启动 TaskManager ，
5. ResourceManager 分配 Container 资源后，
6. 由 ApplicationMaster 通知资源所在节点的 NodeManager 启动 TaskManager ， NodeManager 加载 Flink 的 Jar 包和配置构建环境并启动 TaskManager，
7. TaskManager 启动后向 JobManager 发送心跳包，并等待 JobManager 向其分配任务。