超级会员免费看
本文详细介绍了大数据处理框架Flink的运行时架构，主要包括作业管理器、任务管理器、资源管理器和分发器四个关键组件。作业管理器负责将作业图转化为执行图并分配资源；任务管理器实现任务的并发执行，允许跨插槽和跨任务管理器操作；资源管理器协调任务所需的资源；分发器确保执行图的正确分发。此外，还讨论了作业管理器在检查点协调等中央协调操作中的角色。
然后我们分别来看flink运行时的组件，提交流程，任务调度原理。
可以看到运行时的组件有4个
分别是作业管理器，任务管理器，资源管理器和分发器。
首先看作业管理器。
作业管理器是控制一个应用程序执行的主进程，也就是说每个应用程序都会被一个不同的作业管理器所控制执行。
jobmanager会先收到有执行的应用程序，这个应用程序会包括作业图，逻辑数据流图和打包了所有的类库和其他资源的jar包。
作业管理器会把作业图转化成一个物理层面的数据流图，这个图被叫做执行图，包含了所有可并发执行的任务。
作业管理器会向资源管理器请求执行任务必要的资源也就是任务管理器上的插槽，一旦它获取足够的资源，就会将执行图分发到真正运行他们的taskmana
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
