DRF主资源公平调度策略—经典调度策略

主资源公平调度策略(DRF)是提高集群资源利用率的关键策略,应用于Mesos和YARN。最大最小分配算法是其基础,DRF则考虑各用户主资源的最大公平性。在有CPU和内存资源的情况下,通过数学模型和伪代码解释了如何进行公平分配,确保所有任务的主资源得以最大化公平对待。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

0. 前言

主资源公平调度策略是目前调度系统中被广泛使用的一种调度策略,已经被证明在提高集群资源利用率和任务完成质量方面有很重要的影响,其是公平调度策略的一种,也是最大最小算法的一个具体体现。Mesos和YARN中都用到了该策略。
想要获知该算法的详细论证过程可以搜索 Dominant Resource Fair Scheduling

最大最小分配算法:这个比较好理解,就是最大化目前分配到最小资源量的用户或者任务的资源量。举个例子ABC三个任务需要的资源分别为2,5,8个单位,现在有12个单位的资源,一开始时候每个任务平均分配4个单位,这个时候A任务多出2个单位,然后再将这2个单位平均分配为BC任务,最后分配结果是A2个单位,B5个单位,C5个单位。

1. DRF算法过程

DRF旨在使得不同用户的各自“主资源”最大化地保持公平。

  • 定义:主资源,例如:现在系统有<9CPU, 18G>资源,A任务需要<1CPU,4G>,B任务需要<3CPU,1G>,那么对于A因为1/9 < 4/18,所以A任务的主资源是内存,对于B的主资源是CPU。
  • 数学模型:其实该分配模型可以转化为一定约束条件下的优化问题,下面x代表A任务的个数,y表示B任务的个数。
    • 最大化资源分配 max(x,y)
    • 约束条件:(x+3y)<=9(CPU约束); (4x+y)<= 18(内存约束); 4x/18 == 3y/9(主资源公平约束);最终可以计算得到 x=3,y=2
    • 伪代码说明,针对n个用户(一个用户可以提交多个任务)的m维资源
R=<
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值