hadoop公平调度配置详解(二)fair-scheduler.xml篇

本文详细介绍了Hadoop公平调度器的配置,包括资源池的最小共享资源、作业限制、权重和抢占超时时间。通过示例展示了如何配置公平调度器的配额文件,解释了pool和user元素的作用,并提供了配置文件的默认值和使用规则。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

配额文件为每一个资源池配置最小共享资源、运行作业限制、权重和抢占超时时间。HADOOP_HOME/conf/fair-scheduler.xml.template提供了一个示例例子。配额文件可以包含下列类型的元素:

  • pool元素,配置各个资源池。它们可能包含下列子元素:

    minMapsminReduces,设置资源池最小共享的任务时间片。
    maxRunningJobs,限制从资源池同时运行的作业数量(默认是无限)。
    weight,以非比例的方式与其它资源池共享集群(默认是1.0)。
    minSharePreemptionTimeout,如果资源池的资源低于它的最小共享资源,在结束其它资源池的任务之前等待的秒数(默认是无限)。

    •  user元素,可能会包含一个的maxRunningJobs属性来限制作业。在默认情况下要注意,每一个用户有一个资源池,所以每用户限制不是必须的。
    •  poolMaxJobsDefault,为那些没有指定运行作业
    评论
    添加红包

    请填写红包祝福语或标题

    红包个数最小为10个

    红包金额最低5元

    当前余额3.43前往充值 >
    需支付:10.00
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明:

    1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

    余额充值