【解决】Oozie在调度Hive程序时，出现Job状态一直是ACCEPTED！

最新推荐文章于 2021-07-04 10:58:15 发布

转载最新推荐文章于 2021-07-04 10:58:15 发布 · 1.8k 阅读

本文详细记录了解决Oozie调度Hive程序时Job状态一直为ACCEPTED的问题，通过调整YARN配置参数如内存和CPU核心数未见成效，最终通过启用多线程和公平调度器并调整集群利用率阈值成功解决问题。

Oozie在调度Hive程序时，出现Job状态一直是ACCEPTED！网上查阅资料说是内存不足问题，我改了yarn-site.xml配置文件 :

<property>
    <name>mapreduce.map.memory.mb</name>
	<value>2048</value>
</property>

<property>
    <name>mapreduce.map.cpu.vcores</name>
	<value>2</value>
</property>

<property>
    <name>mapreduce.reduce.memory.mb</name>
	<value>2048</value>
</property>

<property>
    <name>mapreduce.reduce.cpu.vcores</name>
	<value>2</value>
</property>

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
	<value>10240</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
	<value>10</value>
</property>

mapreduce.map.memory.mb ，map任务内存，cdh默认1G
mapreduce.map.cpu.vcores ，map任务虚拟CPU核数，cdh默认1
mapreduce.reduce.memory.mb ，reduce任务内存，cdh默认1G
mapreduce.reduce.cpu.vcores ，reduce任务虚拟CPU核数，cdh默认1
yarn.nodemanager.resource.memory-mb ，容器内存，cdh默认8G
yarn.nodemanager.resource.cpu-vcores ，容器虚拟CPU核数，cdh默认是8

重启yarn之后依旧不行！

终极解决！！！！！！


 <!-- 开启多线程-->
 
<property>
 
     
<name>yarn.resourcemanager.scheduler.class</name>
 
     
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
 
 
</property>

<!--开启公平调度器 -->
 
<property>
 
     
<name>yarn.scheduler.fair.preemption</name>
 
     
<value>true</value>
 
 
</property>
<!--
下面配置用来设置集群利用率的阀值， 默认值0.8f，最多可以抢占到集群所有资源的80%
-->
 
 
<property>
 
     
<name>yarn.scheduler.fair.preemption.cluster-utilization-threshold</name>
 
     
<value>1.0</value>
 
 
</property>