azkaban部署使用

一 首页介绍

projects：最重要的部分，创建一个工程，所有flows将在工程中运行。

scheduling:显示定时任务

executing:显示当前运行的任务

history:显示历史运行任务

二 工程介绍

一个工程包含一个或多个flows，一个flow包含多个job。job是你想在azkaban中运行的一个进程，可以是简单的linux命令，可是java程序，也可以是复杂的shell脚本，当然，如果你安装相关插件，也可以运行插件。一个job可以依赖于另一个job，这种多个job和它们的依赖组成的图表叫做flow。

Azkaban job类型：

1.command：Linux shell命令行任务

2.gobblin：通用数据采集工具

3.hadoopJava：运行hadoopMR任务

4.java：原生java任务

5.hive：支持执行hiveSQL

6.pig：pig脚本任务

7.spark：spark任务

8.hdfsToTeradata：把数据从hdfs导入Teradata

9.teradataToHdfs：把数据从Teradata导入hdfs

 

三 Azkaban 的简单使用

创建job ：command.job

#command.job type=command command=echo 'hello'

四 具体使用教程

安装指引： https://azkaban.readthedocs.io/en/latest/getStarted.html

                   https://www.cnblogs.com/wangshuang123/p/10996987.html

操作指引： https://blog.youkuaiyun.com/SDKLHKJAS/article/details/99732249