Azkaban的(集群)分布式下载,编译,安装

azkaban轻量级工作流调度系统,由多个组件组成,其中最基础有三部分,分别为db、web-server、exec-server。web-server提供了可视化的界面管理,作业配置;exec-server则是来执行具体的作业,该组件可配置集群。

Azkaban三种部署模式,

solo-server模式【单机】

two-server模式【2执行器】

分布式multiple-executor模式【分布式】

博主已经提供好了编译好的压缩包直接下载使用即可

此处提供  已经编译好的 Azkaban  所有的应用包,包括Mysql 5.7,JDK1.8

链接:https://pan.baidu.com/s/1s43YGXoa4cMFMkiIpCFrHw 
提取码:nph6

如需自己编译,请按照如下步骤 ↓↓↓↓↓↓↓↓↓↓↓↓↓

---------------------------------------------------------------------------------------------------

第一步:需要下载源码,进行编译

1、下载源码

从github上下载azkaban官方源码,目前最新release为3.73.1

git clone git@github.com:azkaban/azkaban.git
git 拉取之后会发现,会自动创建一个azkaban文件夹,所有的编译工作 都进入azkaban文件夾下

2、编译

切换到 azkaban下面的目录 

cd azkaban

然后依次执行如下命令:

./gradlew installDist

./gradlew test

./gradlew build -x test

./gradlew build

./gradlew clean

./gradlew installDist

./gradlew test

./gradlew distTar

每一个运行完毕会显示  BUILD SUCCESSFUL in 时间

bulid成功之后

编译好的文件分别在自 azkaban文件夹下面,

Azkaban需要用的数据库

/azkaban/azkaban-db/build/distributions/azkaban-db-3.73.1.tar.gz

Azkaban 需要的执行服务
/azkaban/azkaban-exec-server/build/distributions/azkaban-exec-server-3.73.1.tar.gz

Azkaban需要执行的web服务

/azkaban/azkaban-web-server/build/distributions/azkaban-web-server-3.73.1.tar.gz

Azkaban需要执行的单节点服务压缩包

/azkaban/azkaban-solo-server/build/distributions/azkaban-solo-server-3.73.1.tar.gz

____________________________________________________________________________________________________

Azkaban的分布式安装:

第①步:保证JDK和MySql服务皆可用

MySql 5.7 安装请见 :https://blog.youkuaiyun.com/weixin_38822045/article/details/91447250

分配分布式 ,组件的安装的分配

服务器 服务分配
192.168.1.129

mysql、azkaban-web-server、

azkaban-exec-server

192.168.1.
版本:3.38,解压后,配置自己的环境可直接用 azkaban-3.38.0\azkaban-db azkaban-3.38.0\azkaban-exec-server azkaban-3.38.0\azkaban-solo-server azkaban-3.38.0\azkaban-web-server ----------------后续步骤------------------ 1.创建数据库并导入基本数据 (1)创建数据库 create database azkaban; (2)mysql授权 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; FLUSH PRIVILEGES; (3)导入数据 use azkaban; source /opt/azkaban-3.38.0/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql 2. ssl配置 cd /opt/azkaban-3.38.0\azkaban-web-server keytool -keystore keystore -alias jetty -genkey -keyalg RSA 输入密钥库口令: 再次输入新口令: 您的名字与姓氏是什么? [Unknown]: xue 您的组织单位名称是什么? [Unknown]: xue 您的组织名称是什么? [Unknown]: xue 您所在的城市或区域名称是什么? [Unknown]: beijing 您所在的省/市/自治区名称是什么? [Unknown]: beijing 该单位的双字母国家/地区代码是什么? [Unknown]: CN CN=xue, OU=xue, O=xue, L=beijing, ST=beijing, C=CN是否正确? [否]: Y 输入 的密钥口令 (如果密钥库口令相同, 按回车): 3.修改azkaban-exec-server下配置文件,引入mysql的依赖包 (1)将azkaban-solo-server下conf、plugins、sql目录复制到azkaban-exec-server目录下 cd azkaban-3.38.0/azkaban-solo-server/ cp -a ./conf ./plugins ./sql ../azkaban-exec-server (2)修改azkaban-exec-server/conf/的azkaban.properties文件 # Azkaban Personalization Settings azkaban.name=master azkaban.label=My Local Azkaban azkaban.color=#FF3601 azkaban.default.servlet.path=/index web.resource.dir=web/ #修改时区 default.timezone.id=Asia/Shanghai # Azkaban UserManager class user.manager.class=azkaban.user.XmlUserManager #修改为绝对路径,否则可能找不到 user.manager.xml.file=/opt/azkaban-3.38.0/azkaban-exec-server/conf/azkaban-users.xml # Loader for projects executor.global.properties=/opt/azkaban-3.38.0/azkaban-exec-server/conf/global.properties azkaban.project.dir=projects database.type=mysql mysql.port=3306 mysql.host=master mysql.database=azkaban mysql.user=root mysql.password=123456 mysql.numconnections=100 (其他默认) 4. 在conf目录下新建log4j.properties文件 [root@master azkaban-exec-server]# vim conf/log4j.properties 复制以下内容到log4j文件: log4j.rootLogger=INFO, Console log4j.logger.azkaban=INFO, server log
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值