azkaban轻量级工作流调度系统,由多个组件组成,其中最基础有三部分,分别为db、web-server、exec-server。web-server提供了可视化的界面管理,作业配置;exec-server则是来执行具体的作业,该组件可配置集群。
Azkaban三种部署模式,
solo-server模式【单机】
two-server模式【2执行器】
分布式multiple-executor模式【分布式】
博主已经提供好了编译好的压缩包直接下载使用即可
此处提供 已经编译好的 Azkaban 所有的应用包,包括Mysql 5.7,JDK1.8
链接:https://pan.baidu.com/s/1s43YGXoa4cMFMkiIpCFrHw
提取码:nph6
如需自己编译,请按照如下步骤 ↓↓↓↓↓↓↓↓↓↓↓↓↓
---------------------------------------------------------------------------------------------------
第一步:需要下载源码,进行编译
1、下载源码
从github上下载azkaban官方源码,目前最新release为3.73.1
git clone git@github.com:azkaban/azkaban.git
git 拉取之后会发现,会自动创建一个azkaban文件夹,所有的编译工作 都进入azkaban文件夾下
2、编译
切换到 azkaban下面的目录
cd azkaban
然后依次执行如下命令:
./gradlew installDist
./gradlew test
./gradlew build -x test
./gradlew build
./gradlew clean
./gradlew installDist
./gradlew test
./gradlew distTar
每一个运行完毕会显示 BUILD SUCCESSFUL in 时间
bulid成功之后
编译好的文件分别在自 azkaban文件夹下面,
Azkaban需要用的数据库
/azkaban/azkaban-db/build/distributions/azkaban-db-3.73.1.tar.gz
Azkaban 需要的执行服务
/azkaban/azkaban-exec-server/build/distributions/azkaban-exec-server-3.73.1.tar.gz
Azkaban需要执行的web服务
/azkaban/azkaban-web-server/build/distributions/azkaban-web-server-3.73.1.tar.gz
Azkaban需要执行的单节点服务压缩包
/azkaban/azkaban-solo-server/build/distributions/azkaban-solo-server-3.73.1.tar.gz
____________________________________________________________________________________________________
Azkaban的分布式安装:
第①步:保证JDK和MySql服务皆可用
MySql 5.7 安装请见 :https://blog.youkuaiyun.com/weixin_38822045/article/details/91447250
分配分布式 ,组件的安装的分配
服务器 | 服务分配 |
---|---|
192.168.1.129 | mysql、azkaban-web-server、 azkaban-exec-server |
192.168.1. |