flink笔记:028 任务(task)和任务槽(task slots)

TaskManager的slot机制将内存平均分配给每个slot,确保子任务独享资源,避免竞争。Flink默认任务共享slot,允许不同任务按需分配资源。一个slot可承载整个作业的执行管道,允许资源密集型和非密集型任务共存,实现负载均衡。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

每个任务槽(task slot)其实表示了 TaskManager 拥有计算资源的一个固定大小的子集。
这些资源就是用来独立执行一个子任务的。

在这里插入图片描述
假如一个 TaskManager 有三个 slot,那么它会将管理的内存平均分成三份,每个 slot 独自
占据一份。这样一来,我们在 slot 上执行一个子任务时,相当于划定了一块内存“专款专用”,就不需要跟来自其他作业的任务去竞争内存资源了

在这里插入图片描述
一个程序的最大子任务需要的slot数就是我们最终要申请的slot数量
默认情况下,flink循序任务共享slot,一个slot可以保存作业的整个管道,当我们将资源密集型和非密集型的任务同时放到一个slot中,它们就可以自行分配对资源占用的比例,从而保证最重的活平均分配给所有的taskMansger

每个任务节点的并行子任务一字排开,占据不同的 slot;而不同
的任务节点的子任务可以共享 slot。一个 slot 中,可以将程序处理的所有任务都放在这里执行,
我们把它叫作保存了整个作业的运行管道(pipeline)。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值