Azkaban调研

最新推荐文章于 2023-06-13 12:01:21 发布

原创

最新推荐文章于 2023-06-13 12:01:21 发布 · 5.3k 阅读

2 ·

CC 4.0 BY-SA版权

Azkaban是LinkedIn用于管理Hadoop批处理工作流的工具，提供Web界面支持工作流构建、运行和管理。系统包含AzkabanWebServer、Executor和MySQL数据库，具备工作流调度、用户权限管理等功能。Azkaban2.x版本引入数据库存储，支持插件扩展，具有高可用性和扩展性。用户可创建项目、定义工作流和作业依赖，支持工作流的执行、调度和权限管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、概述

Azkaban来自LinkedIn公司，用于管理他们的Hadoop批处理工作流。日常生产环境中，为了得到想要的数据，通常需要执行很多作业，一批作业执行完毕，再将中间结果进一步处理，最后得到有价值的数据，因此作业之间执行有先后顺序和依赖关系。这样的一组作业称为一个工作流，Azkaban就是用来构建、运行和管理工作流的工具，它提供友好的Web用户界面来维护和跟踪用户的工作流程。

简单来讲，它有几个特点：

兼容各个版本的hadoop
用户可通过web页面提交工作流
工作流调度
系统模块化支持插件开发
用户认证和权限验证
用户操作追踪
任务执行结果邮件报警
按照SLA执行报警和杀作业
失败作业重试

Azkaban已经在LinkedIn运行了好几年，管理着很多Hadoop和数据仓库作业流，具有很强的可用性。项目主页：http://azkaban.github.io/azkaban2/

二、系统结构

Azkaban目前有2个大版本，azkaban1.x和azkaban2.x，1系结构比较简单，不需要依赖数据库，执行器和调度器以及webServer都集成在一起，缺点是没有用户和权限管理，其它功能不够丰富，随着用户规模增大和系统健壮性需求，azkaban系统演进到最新2.2版本，不过感兴趣的童鞋还是可以体验一下azkaban1，测试版地址在http://10.4.19.55:8030/。下面重点介绍一下azkaban2。

Azkaban2由三个重要的组件组成，mysql数据库、executor、webServer。架构图如下：
其中AzkabanWebServer除了提供web页面响应服务，还负责项目管理，认证，调度，监控和发起执行，它是azkaban的大脑。executor则负责作业的执行，对执行过程及结果进行监控，并将执行状况汇报给AzkabanWebServer，两者采用http接口进行通信。