【解决】Oozie在调度Hive程序时,出现Job状态一直是ACCEPTED!

本文详细记录了解决Oozie调度Hive程序时Job状态一直为ACCEPTED的问题,通过调整YARN配置参数如内存和CPU核心数未见成效,最终通过启用多线程和公平调度器并调整集群利用率阈值成功解决问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Oozie在调度Hive程序时,出现Job状态一直是ACCEPTED!网上查阅资料说是内存不足问题,我改了yarn-site.xml配置文件 :

<property>
    <name>mapreduce.map.memory.mb</name>
	<value>2048</value>
</property>

<property>
    <name>mapreduce.map.cpu.vcores</name>
	<value>2</value>
</property>

<property>
    <name>mapreduce.reduce.memory.mb</name>
	<value>2048</value>
</property>

<property>
    <name>mapreduce.reduce.cpu.vcores</name>
	<value>2</value>
</property>

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
	<value>10240</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
	<value>10</value>
</property>

mapreduce.map.memory.mb ,map任务内存,cdh默认1G
mapreduce.map.cpu.vcores ,map任务虚拟CPU核数,cdh默认1
mapreduce.reduce.memory.mb ,reduce任务内存,cdh默认1G
mapreduce.reduce.cpu.vcores ,reduce任务虚拟CPU核数,cdh默认1
yarn.nodemanager.resource.memory-mb ,容器内存,cdh默认8G
yarn.nodemanager.resource.cpu-vcores ,容器虚拟CPU核数,cdh默认是8

 重启yarn之后依旧不行!

 

终极解决!!!!!!


 <!-- 开启多线程-->
 
<property>
 
     
<name>yarn.resourcemanager.scheduler.class</name>
 
     
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
 
 
</property>

<!--开启公平调度器 -->
 
<property>
 
     
<name>yarn.scheduler.fair.preemption</name>
 
     
<value>true</value>
 
 
</property>
<!--
下面配置用来设置集群利用率的阀值, 默认值0.8f,最多可以抢占到集群所有资源的80%
-->
 
 
<property>
 
     
<name>yarn.scheduler.fair.preemption.cluster-utilization-threshold</name>
 
     
<value>1.0</value>
 
 
</property>

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值