Flink任务调度逻辑(基于1.12)

Flink任务调度部署原理(基于1.12)

术语

  1. Region: A pipelined region is defined as the set of tasks that are connected via pipelined data exchanges. 将通过pipeline方式交互数据的subtask的一个task集合。
  2. ExecutionVertex: 作业逻辑拓扑中的一个顶点的一个并行度,即
  3. JobVertex: 作业逻辑拓扑中的一个顶点
  4. CoLocationGroup: 一组JobVertex,强制约束每个JobVertex相同下标的subtask都必须运行在同个TaskManager上。
  5. SlotSharingGroup: 一组JobVertex,软约束每个JobVertex的subtask可以运行在同个slot上,不要求下标一一对应。

slot共享策略(SlotSharingStrategy)

决定SlotSharingGroup的划分方式,目前只有一种策略:

  • LocalInputPreferredSlotSharingStrategy: 尽量减少跨网络数据传输划分SlotSharingGroup。运行在同个slot代表task部署于同个taskexecutor进程中,task之间的数据传输不需要跨网络

This strategy tries to reduce remote data exchanges. Execution vertices, which are connected and belong to the same SlotSharingGroup, tend to be put in the same ExecutionSlotSharingGroup. Co-location constraints will be respected.

Slot选择策略(SlotSelectionStrategy)

  • DefaultLocationPreferenceSlotSelectionStrategy: 默认策略,优选择预设的taskmanager分配slot,否则按顺序从slotpool选择第一个满足资源需求的slot
  • EvenlySpreadOutLocationPreferenceSlotSelectionStrategy&#x
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值