超级会员免费看
本文探讨了Flink中slot与任务并行度的关系，指出slot数量通常依据最多子任务数量来设定。举例说明，当有2个taskmanager和4个slot时，能容纳最多4个子任务的任务。同一slot内的任务不并行执行。讨论了WordCount任务的并行度配置，以及在不同场景下如何通过flink-conf.yaml、命令行参数或代码设置并行度。强调了在写入CSV时，为避免文件混乱，sink操作的并行度应设为1。
上面我们说了flink允许子任务共享slot,等等,有几个任务,如何分配slot等等对吧.
然后我们再继续来看slot和并行度的关系,看到上面左侧,这个任务有A任务4个并行度,然后B任务4个并行度,然后C任务2个并行度,D任务4个并行度,然后E任务2个并行度...也就是对应的子任务的个数对吧.可以看到这个任务,如果分配的话.
分配到2个taskmanager,然后有4个slot就够了对吧,可以看到因为他这里最多的子任务就是4个,
然后可以看到上面的,任务的分配,实际上很简单,就是最多的子任务,需要每个slot都有一个,然后
子任务不够的话,找其中的slot去分配上就可以了.所以一般slot的个数一般都是以最多的子任务的
个数来算.
然后我们再看,同样是输入,A任务是输入,C任务也是输入,我们把A和C放到同一个slot中也没问题对吧,因为在同一个slot中,任务不是并行的对吧.
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
