YARN调度器Scheduler

本文主要介绍了Yarn中的调度器,包括FIFO Scheduler、Capacity Scheduler和Fair Scheduler。重点阐述了Fair Scheduler的工作原理,即动态调整系统资源,保证任务公平共享。还详细说明了其配置方法,如启用、队列配置、设置及抢占功能的使用等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、Scheduler

Yarn中有三种调度器可以选择:FIFO Scheduler ,Capacity Scheduler,Fair Scheduler
,分别是先进先出,计算调度,公平调度(使用最多)。

1.1 FIFO Scheduler

FIFO Scheduler是最简单也是最容易理解的调度器,也不需要任何配置,但它并不适用于共享集群。大的应用可能会占用所有集群资源,这就导致其它应用被阻塞。在共享集群中,更适合采用Capacity Scheduler或Fair Scheduler,这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。

从图中可以看出,在FIFO 调度器中,小任务2会被大任务1阻塞。
在这里插入图片描述

1.2 Fair Scheduler

在FairS cheduler调度中,我们不需要预先占用一定的系统资源,Fair调度器会为所有运行的job动态的调整系统资源。如下图所示,当第一个大job1提交时,此时它获得了所有集群资源;当第二个小任务2提交后,Fair调度器会分配一半资源给这个小任务,让这两个任务公平的共享集群资源。

下图Fair调度器中,从第二个任务提交到获得资源会有一定的延迟,因为它需要等待第一个任务释放占用的Container。小任务执行完成之后也会释放自己占用的资源,大任务又获得了全部的系统资源。最终的效果就是Fair调度器即得到了高的资源利用率又能保证小任务及时完成。
在这里插入图片描述

2、Fair Scheduler(公平调度器)的配置

2.1 公平调度

Fair调度器的设计目标是为所有的应用分配公平的资源(对公平的定义可以通过参数来设置)。在上面的“Yarn调度器对比图”展示了一个队列中两个应用的公平调度;当然,公平调度在也可以在多个队列间工作。举个例子,假设有两个用户A和B,他们分别拥有一个队列。当A启动一个job而B没有任务时,A会获得全部集群资源;当B启动一个job后,A的job会继续运行,不过一会儿之后两个任务会各自获得一半的集群资源。如果此时B再启动第二个job并且其它job还在运行,则它将会和B的第一个job共享B这个队列的资源,也就是B的两个job会用于四分之一的集群资源,而A的job仍然用于集群一半的资源,结果就是资源最终在两个用户之间平等的共享。过程如下图所示:
在这里插入图片描述

2.2 启用Fair Scheduler

调度器的使用是通过yarn-site.xml配置文件中的yarn.resourcemanager.scheduler.class参数进行配置的,默认采用Capacity Scheduler调度器。如果我们要使用Fair调度器,需要在这个参数上配置FairScheduler类的全限定名:org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler

2.3 队列的配置

Fair调度器的配置文件位于类路径下的fair-scheduler.xml文件中,这个路径可以通过yarn.scheduler.fair.allocation.file属性进行修改。若没有这个配置文件,Fair调度器采用的分配策略,这个策略和3.1节介绍的类似:调度器会在用户提交第一个应用时为其自动创建一个队列,队列的名字就是用户名,所有的应用都会被分配到相应的用户队列中。

我们可以在配置文件中配置每一个队列,并且可以像Capacity 调度器一样分层次配置队列。比如,参考capacity-scheduler.xml来配置fair-scheduler:
在这里插入图片描述
队列的层次是通过嵌套<queue>元素实现的。所有的队列都是root队列的孩子,即使我们没有配到<root>元素里。在这个配置中,我们把dev队列有分成了engscience两个队列。
root
├── prod
└── dev
├── eng
└── science
Fair调度器中的队列有一个权重属性(这个权重就是对公平的定义),并把这个属性作为公平调度的依据。在这个例子中,当调度器分配集群40:60资源给prod和dev时便视作公平,eng和science队列没有定义权重,则会被平均分配。这里的权重并不是百分比,我们把上面的40和60分别替换成2和3,效果也是一样的。注意,对于在没有配置文件时按用户自动创建的队列,它们仍有权重并且权重值为1。

每个队列内部仍可以有不同的调度策略。队列的默认调度策略可以通过顶级元素<defaultQueueSchedulingPolicy>进行配置,如果没有配置,默认采用公平调度。

尽管是Fair调度器,其仍支持在队列级别进行FIFO调度。每个队列的调度策略可以被其内部的<schedulingPolicy> 元素覆盖,在上面这个例子中,prod队列就被指定采用FIFO进行调度,所以,对于提交到prod队列的任务就可以按照FIFO规则顺序的执行了。需要注意,prod和dev之间的调度仍然是公平调度,同样eng和science也是公平调度。

尽管上面的配置中没有展示,每个队列仍可配置最大、最小资源占用数和最大可运行的应用的数量。

2.4 队列的设置

Fair调度器采用了一套基于规则的系统来确定应用应该放到哪个队列。在上面的例子中,<queuePlacementPolicy> 元素定义了一个规则列表,其中的每个规则会被逐个尝试直到匹配成功。例如,上例第一个规则specified,则会把应用放到它指定的队列中,若这个应用没有指定队列名或队列名不存在,则说明不匹配这个规则,然后尝试下一个规则。primaryGroup规则会尝试把应用放在以用户所在的Unix组名命名的队列中,如果没有这个队列,不创建队列转而尝试下一个规则。当前面所有规则不满足时,则触发default规则,把应用放在dev.eng队列中。

当然,我们可以不配置queuePlacementPolicy规则,调度器则默认采用如下规则:

<queuePlacementPolicy>
<rule name="specified" />
<rule name="user" />
</queuePlacementPolicy>

上面规则可以归结成一句话,除非队列被准确的定义,否则会以用户名为队列名创建队列。

还有一个简单的配置策略可以使得所有的应用放入同一个队列(default),这样就可以让所有应用之间平等共享集群而不是在用户之间。这个配置的定义如下:

<queuePlacementPolicy>
<rule name="default" />
</queuePlacementPolicy>

实现上面功能我们还可以不使用配置文件,直接设置yarn.scheduler.fair.user-as-default-queue=false,这样应用便会被放入default 队列,而不是各个用户名队列。另外,我们还可以设置yarn.scheduler.fair.allow-undeclared-pools=false,这样用户就无法创建队列了。

2.5 抢占(Preemption)

当一个job提交到一个繁忙集群中的空队列时,job并不会马上执行,而是阻塞直到正在运行的job释放系统资源。为了使提交job的执行时间更具预测性(可以设置等待的超时时间),Fair调度器支持抢占。

抢占就是允许调度器杀掉占用超过其应占份额资源队列的containers,这些containers资源便可被分配到应该享有这些份额资源的队列中。需要注意抢占会降低集群的执行效率,因为被终止的containers需要被重新执行。

可以通过设置一个全局的参数yarn.scheduler.fair.preemption=true来启用抢占功能。此外,还有两个参数用来控制抢占的过期时间(这两个参数默认没有配置,需要至少配置一个来允许抢占Container):

- minimum share preemption timeout
- fair share preemption timeout

如果队列在minimum share preemption timeout指定的时间内未获得最小的资源保障,调度器就会抢占containers。我们可以通过配置文件中的顶级元素<defaultMinSharePreemptionTimeout>为所有队列配置这个超时时间;我们还可以在<queue>元素内配置<minSharePreemptionTimeout>元素来为某个队列指定超时时间。

与之类似,如果队列在fair share preemption timeout指定时间内未获得平等的资源的一半(这个比例可以配置),调度器则会进行抢占containers。这个超时时间可以通过顶级元素<defaultFairSharePreemptionTimeout>和元素级元素<fairSharePreemptionTimeout>分别配置所有队列和某个队列的超时时间。上面提到的比例可以通过<defaultFairSharePreemptionThreshold>(配置所有队列)和<fairSharePreemptionThreshold>(配置某个队列)进行配置,默认是0.5。

转载:
https://blog.youkuaiyun.com/suifeng3051/article/details/49508261

### YARN调度器类型及选择策略 YARN(Yet Another Resource Negotiator)是Hadoop生态系统中的资源管理框架,负责集群资源的分配和任务调度。YARN支持多种调度器类型,每种调度器适用于不同的使用场景和需求。 #### 1. FIFO Scheduler(先进先出调度器) FIFO Scheduler是一种简单的调度器,按照作业提交的时间顺序依次执行任务。它将所有任务放入一个队列中,并优先处理最早提交的任务[^1]。 - **适用场景**:适合对任务延迟不敏感、任务提交频率较低的环境。 - **优点**:实现简单,易于理解和维护。 - **缺点**:可能导致资源被大型任务长期占用,小型任务无法及时完成。 ```python # 配置FIFO调度器 yarn.scheduler.class=org.apache.hadoop.yarn.server.resourcemanager.scheduler.fifo.FifoScheduler ``` #### 2. Capacity Scheduler(容量调度器) Capacity Scheduler是一种多队列调度器,允许不同队列之间共享集群资源,同时保证每个队列的最小资源配额[^2]。 - **适用场景**:适合多租户环境,能够满足不同用户或团队对资源的需求。 - **优点**: - 支持多队列配置,资源隔离性好。 - 提供弹性资源分配,未使用的资源可以临时分配给其他队列。 - **缺点**:配置复杂,需要根据业务需求精细调整队列参数。 ```xml <!-- 配置Capacity调度器 --> <property> <name>yarn.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value> </property> ``` #### 3. Fair Scheduler(公平调度器) Fair Scheduler通过动态调整任务的资源分配,确保所有任务在长时间内获得几乎相同的资源。默认情况下,Fair Scheduler仅对内存资源进行公平分配,但可以通过配置扩展到CPU等其他资源。 - **适用场景**:适合需要平衡多个任务资源使用的情况,尤其是中小型任务较多的场景。 - **优点**: - 动态资源分配,避免资源浪费。 - 支持DRF(Dominant Resource Fairness)策略,适用于多维度资源调度。 - **缺点**:在极端情况下,可能会影响大任务的性能。 ```xml <!-- 配置Fair调度器 --> <property> <name>yarn.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property> ``` #### 4. DRF(Dominant Resource Fairness) DRF是一种资源调度策略,用于处理多维度资源(如CPU、内存、网络带宽等)的公平分配问题[^1]。例如,在一个集群中,如果应用A需要更多内存而应用B需要更多CPU,则DRF会根据主导资源的比例进行调度。 - **适用场景**:适合资源需求多样化的场景,能够更合理地利用集群资源。 - **优点**:提高了资源利用率,避免单一资源维度导致的不公平问题。 - **缺点**:实现复杂度较高,需要精确计算每个任务的主导资源。 ```python # 配置DRF策略 yarn.scheduler.fair.drf=true ``` ### 总结 YARN提供了多种调度器以适应不同的使用场景。FIFO Scheduler适用于简单场景;Capacity Scheduler适合多租户环境;Fair Scheduler则适合需要动态资源平衡的场景;而DRF策略进一步优化了多维度资源的公平分配。选择合适的调度器需要结合实际业务需求和集群资源特性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值