辅助框架之azkaban工作流调度器

1. 为什么需要工作流调度系统

（1）完整的数据分析系统通常都是由大量任务单元组成；包括：shell脚本程序、java程序、mapreduce程序、hive脚本等

（2）各任务单元之间存在时间先后及前后依赖关系；

（3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。

2. Azkaban是什么

（1）Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。

（2）Azkaban定义了一种KV文件(properties)格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

（3）功能特点：

• 提供功能清晰、简单易用的web UI界面
• 提供job配置文件快速建立任务和任务之间的关系
• 提供模块化的可插拔机制，原生支持command、java、hive、hadoop
• 基于java开发，代码结构清晰，易于二次开发

3. Azkaban基本架构

Azkaban由三部分构成：

（1）Azkaban Web Server

提供了Web UI，是azkaban的主要管理者，包括 project 的管理，认证，调度，对工作流执行过程的监控等。

（2）Azkaban Executor Server

负责具体的工作流和任务的调度提交。

（3）Mysql

用于保存项目、日志或者执行计划之类的信息。

4. Azkaban架构的三种运行模式

（1）solo server mode(单机模式）

H2 web server 和 executor server运行在一个进程里最简单的模式，数据库内置的H2数据库，管理服务器和执行服务器都在一个进程中运行，任务量不大项目可以采用此模式。

（2）two server mode

web server 和 executor server运行在不同的进程，数据库为mysql，管理服务器和执行服务器在不同进程，这种模式下，管理服务器和执行服务器互不影响。

（3）multiple executor mode

web server 和 executor server运行在不同的进程，executor server有多个。
该模式下，执行服务器和管理服务器在不同主机上，且执行服务器可以有多个。

5. Azkaban启动

5.1 启动web server服务

• 在azkaban web server服务器目录下执行启动命令

        bin/azkaban-web-start.sh

5.2 启动executor执行服务

• 在azkaban executor服务器目录下执行启动命令

              bin/azkaban-executor-start.sh

5.3页面访问

启动完成后,在浏览器中输入https://服务器IP地址:8443，如图：

6.Azkaban需要注意的问题

（1）配置文件 azkaban.properties中，只要涉及到路径的，都要将其中默认的相对路径改为绝对路径。否则会报文件不存在、 certificate_unknown等错误。