Oozie 任务启动后占用大量资源导致任务失败解决

最新推荐文章于 2023-12-19 15:05:53 发布

tonglingtou1875

最新推荐文章于 2023-12-19 15:05:53 发布

阅读量453

点赞数

分类专栏：大数据文章标签： oozie集成 workflow

本文链接：https://blog.youkuaiyun.com/tonglingtou1875/article/details/120280572

版权

大数据专栏收录该内容

18 篇文章

订阅专栏

当Oozie任务启动后因资源不足导致失败时，可以调整workflow.xml配置来限制任务使用的资源。通过设置`oozie.launcher.mapreduce.map.memory.mb`和`oozie.launcher.yarn.app.mapreduce.am.resource.mb`属性为512MB，可以防止任务占用过多资源，从而避免自身任务挂起和其他任务无法启动的问题。适当配置资源参数能有效优化集群资源使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如果集群资源不足，Oozie 任务启动后占用大量资源可能导致任务失败一般有两种情况。

一是导致自身任务挂起无法执行成功；二是导致其他任务无法启动。

解决办法

在 workflow.xml 的配置 <configuration> 中增加如下属性 <property> ：

<property>
	<name>oozie.launcher.mapreduce.map.memory.mb</name>
	<value>512</value>
</property>
<property>
	<name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
	<value>512</value>
</property>