flink 任务提交流程

最新推荐文章于 2025-08-10 10:24:50 发布

原创

最新推荐文章于 2025-08-10 10:24:50 发布 · 468 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍了Flink的两种主要部署模式：standalone和yarn。standalone模式下，Dispatcher接收应用并启动JobManager，JobManager负责任务调度；yarn模式中，flinkClient将作业提交给yarn ResourceManger，后者分配资源并启动ApplicationMaster，进一步启动jobManager和taskManager。

standalone模式

App提交应用给Dispatcher,Dispatcher接受到这个任务后，
启动并提交应用JobManager,(一个job就会对应一个jobManager进行管理),
jobManager对当前的应用进行分析，解析成一个执行图,可以解析出当前的
job有多少个任务,就可以知道有多少个slot来运行，向resourceManager请求,
resouceManager启动对应的taskManager,taskManager将自己的slots向ResourceManger
进行注册,ResouceManager向TaskManger发出提供slot指令，TaskManager向
JobManager提供slots,JobManager向TaskManager分发任务，TaskManager启动任务(这个阶段
会存在多个TaskManager数据的交互)

yarn模式

flinkClient 上传flink的jar包和配置到HDFS,将job提交到yarn的ResourceManger,
yarn resourceManager分配Container资源并通知对应的NodeManager上启动一个applicationMaster(每提交一个flink job
就会启动一个applicationMaster)，applicationMaster
会包含当前要启动的jobManager和flink自己内部要使用的resourceManag