azkaban执行各种job任务

一：Azkaban执行各种job任务

所有的job文件打成zip的压缩包，注意：不能是rar压缩

所有job文件可以通过Noteped++编辑该文件，注意设置Job文件的格式编码

1）azkaban的job操作普通linux语句

type=command

command=echo 'hello world'

2）azkaban的job操作shell脚本及脚本参数传递

type=command

command=sh /home/dove/get_data.sh '' 'aaa,bbb,ccc'

3）azkaban多个job依赖执行

第一个job文件foo.job：

type=command

command=echo 'foo'

第二个job文件依赖第一个foo.job：

type=command

dependencies=foo

command=echo 'bar'

4）azkaban的job操作HDFS文件系统

type=command

command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop fs -mkdir /azkaban

5）azkaban的job操作MapReduce，注意这里的jar需要是相对路径，需要和job文件打成一个压缩包。

type=command

command=/export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 3 5

6）azkaban的job操作Hive脚本，注意的hive脚本hive.sql需要和job文件打成一个压缩包。

type=command

command=/export/servers/hive-1.1.0-cdh5.14.0/bin/hive -f 'hive.sql'

二：azkaban运行Job

上传压缩包：

创建好项目后，点击Execute Flow执行项目

立即执行和定时时间设置：