azkaban详解之简单任务创建

azkaban详解之简单并行任务创建

1.需求

建立一个具有开始->并行运行->结束的azkaban job。

2.代码如下

• start.job

type=noop

• first.job

type=command
command="echo first"
dependencies=start

• second.job

type=command
command="echo second"
dependencies=start

• three.job

type=command
command="echo first"
dependencies=start

• four.job

type=command
command="echo first"
dependencies=start

• end.job

type=noop
dependencies=first,second,three,four

将如上几个job所在文件打包生成.zip文件。然后上传到azkaban的project中。
注：

• 上面的type=noop。这里的noop是一个空操作，放在这里只是为了做一个job的开始，然后一起进行并行的任务运行。官网中这么介绍：Noop: A job that takes no parameters and is essentially a null operation. Used for organizing your graph.
• azkaban中压缩文件的命名（start.noop.job）将会导致无法读取整个job流。【这可能是一个bug】

实现结果