Oozie任务调度阻塞及内存优化方法

目 录

0 引 言

1 Oozie的任务调度原理

 1.1 Oozie总体架构

 1.2 Oozie的执行模型（Action原理）

2 Yarn的资源调度原理

2.1 Yarn的相关定义

2.2 Yarn的运行机制

2.3 Yarn的资源调度原理

3 排查与优化方法

3.1 问题原因描述

3.2 优化方案

3.3 Yarn资源队列设置

3.4 Oozie的调度配置

3.5 实验结果

4 小 结

---

0 引 言

Oozie在执行过程中如果有多个fork产生并行任务的时候，这时会占用很多内存，如果机器的内存不够则会产生调度阻塞。或者是同时提交了多个Oozie任务，也会产生调度阻塞。本文针对上述问题，首先分析研究了Oozie的工作原理及Yarn的运行机制，并基于这两种机制原理的基础上，定位问题所在，实现了上述问题的优化，给出了具体的解决方案，最后对结果进行了验证。

1 Oozie的任务调度原理

 1.1 Oozie总体架构

 Oozie的总体架构图如下图所示：

图1：Oozie整体架构图