场景
一个工厂有三个车间每个车间两条生产线
生产流程如下
原料->加工->过滤->分类->美化->包装->下线
JobManager:工厂
在上述场景中,工厂就是jobManager,负责协调、调度和监控整个生产过程
TaskManager:车间
在上述场景中,车间就是taskManager,按照工厂的分配进行生产,所有的问题上报工厂
slot:流水线
在上述场景中,车间的流水线就是slot,是工作台,真正干活的地方,每个车间有2个流水线,3个车间,也就是说这个工厂有6条流水线,就是6个slot
Task:工作
在上述场景中,每一个任务都是一个task,共计7个task
在代码中,source.map.filter.groupby....每一个算子可以成为一个task
Parallelism:并行度
同一个任务(Task),在6个工作台上都可以同时进行,并行度可以设置为6
SubTask:工作实例
在每个工作台上运行的相同任务,相当于任务的实例,也就是subTask
官方概念
jobmanager
Flink中的JobManager是整个Flink作业的主机控制节点,负责协调、调度和监控整个作业的执行过程。JobManager有两种类型:一个是执行图 JobGraph 的 JobManager,另一个是执行宝贵资源的 ResourceManager。JobManager负责接收作业提交请求,将作业转换为执行图JobGraph,并将JobGraph提交给TaskManager执行。JobManager还负责故障恢复,当Tas

本文详细解释了Flink中的JobManager和TaskManager角色,以及它们在生产流程中的协调、调度和资源管理。介绍了slot、Task、Parallelism和SubTask的概念,展示了Flink如何通过并行处理提高效率。
最低0.47元/天 解锁文章
4906

被折叠的 条评论
为什么被折叠?



