一、简介
Azkaban 主要通过界面上传配置文件来进行任务的调度。它有两个重要的概念:
- Job: 你需要执行的调度任务;
- Flow:一个获取多个 Job 及它们之间的依赖关系所组成的图表叫做 Flow。
目前 Azkaban 3.x 同时支持 Flow 1.0 和 Flow 2.0,本文主要讲解 Flow 1.0 的使用,下一篇文章会讲解 Flow 2.0 的使用。
二、基本任务调度
2.1 新建项目
在 Azkaban 主界面可以创建对应的项目:

2.2 任务配置
新建任务配置文件 Hello-Azkaban.job,内容如下。这里的任务很简单,就是输出一句 'Hello Azkaban!' :
#command.job
type=command
command=echo 'Hello Azkaban!'
2.3 打包上传
将 Hello-Azkaban.job 打包为 zip 压缩文件:

通过 Web UI 界面上传:

上传成功后可以看到对应的 Flows:

2.4 执行任务
点击页面上的 Execute Flow 执行任务:

2.5 执行结果
点击 detail 可以查看到任务的执行日志:


Azkaban是一个用于工作流管理和调度的系统,通过界面上传配置文件来定义Job和Flow。本文详细介绍了如何创建项目、配置简单任务,以及设置多任务依赖关系。此外,还展示了调度HDFS、MR和Hive作业的步骤,并提及了在线修改作业配置的功能。对于资源限制问题,可以通过关闭内存检查来解决。
最低0.47元/天 解锁文章
1352

被折叠的 条评论
为什么被折叠?



