配置yarn多线程运行模式

最新推荐文章于 2023-03-14 11:16:54 发布

gdfsbingfeng

最新推荐文章于 2023-03-14 11:16:54 发布

阅读量2k

点赞数

分类专栏： hadoop

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文介绍如何通过修改yarn-site.xml文件配置YARN的FairScheduler，实现多任务在队列中运行，避免MapReduce与PySpark作业冲突，提高集群资源利用率。详细介绍了配置预抢占、集群利用率阈值等关键参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

修改yarn-site.xml文件，添加如下：

<property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
    <property>
        <name>yarn.scheduler.fair.preemption</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.scheduler.fair.preemption.cluster-utilization-threshold</name>
        <value>1.0</value>
    </property>