Hadoop运行MapReduce命令卡住的问题

最新推荐文章于 2021-10-11 20:11:02 发布

原创最新推荐文章于 2021-10-11 20:11:02 发布 · 957 阅读

1 ·

CC 4.0 BY-SA版权

学习资料专栏收录该内容

36 篇文章

订阅专栏

本文详细介绍了如何通过正确配置fair-scheduler.xml和yarn-site.xml文件来解决Hadoop YARN调度器的问题，包括设置资源管理器的调度类为公平调度器，以及在fair-scheduler.xml中定义队列策略和权重分配。

我的原因是fair-scheduler.xml文件没有配置，配置好后便可正常使用。

配置如下：

yarn-site.xml:

<property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>

然后是 fair-scheduler.xml：

<?xml version="1.0"?>
<allocations>
<defaultQueueSchedulingPolicy>fair</defaultQueueSchedulingPolicy>
        <queue name="prod">
                <weight>40</weight>
                <schedulingPolicy>fifo</schedulingPolicy>
        </queue>
        <queue name="dev">
                <weight>60</weight>
                <queue name="eng"/>
                <queue name="science"/>
        </queue>
</allocations>

其它节点进行同样的配置即可。