配置yarn多线程运行模式

最新推荐文章于 2024-05-31 08:46:28 发布

转载最新推荐文章于 2024-05-31 08:46:28 发布 · 2k 阅读

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文介绍如何通过修改yarn-site.xml文件配置YARN的FairScheduler，实现多任务在队列中运行，避免MapReduce与PySpark作业冲突，提高集群资源利用率。详细介绍了配置预抢占、集群利用率阈值等关键参数。

修改yarn-site.xml文件，添加如下：

<property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
    <property>
        <name>yarn.scheduler.fair.preemption</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.scheduler.fair.preemption.cluster-utilization-threshold</name>
        <value>1.0</value>
    </property>