azkaban3.57多executor节点安装图文教程

本文介绍了azkaban3.57多节点框架的安装过程。包括创建相关mysql数据库并导入数据,进行web端和executor端的安装、配置及启动关闭操作。还提到多节点部署时要先启动executor再启动web,充分利用插件需额外配置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

关于azkaban的源码编译请看另一篇博文《azkaban3.57及3.0插件的编译

一、azkaban3.57多节点框架安装

1、创建相关mysql数据库(如 azkaban357),为改数据库创建相应用户并赋予权限(如azkaban)。

解压 azkaban-db-3.57.0.tar.gz 到相应目录

# tar –zxvf azkaban-db-3.57.0.tar.gz

在shell进入mysql,选择相应的数据库,执行导入命令

# use azkaban357;

# source /home/azkaban/azkaban-db-3.57.0/create-all-sql-3.57.0.sql;         

##根据实际路径

2、web端安装

解压web端jar包

# tar –zxvf azkaban-web-server-3.57.0.tar.gz   #根据需要可以重命名跟目录

进入web主目录,执行生成秘钥(默认keystored目录)

# keytool -keystore keystore -alias jetty -genkey -keyalg RSA

修改 ${azkaban-web-home}/conf/azkaban.properites 文件

Kafka流触发插件配置,一般在安装完后开始安装插件时才配置(此处可暂不配置)。这里节省边幅,先直接说明了。

启动与关闭

进入到azkaban-home目录(不要在bin下执行,可能会造成部分js无法加载)

启动:# ./bin/start-web.sh

关闭:# ./bin/shutdown-web.sh

(启动正常后先关闭)

3、executor端安装

# tar –zxvf azkaban-exec-server-3.57.0.tar.gz

修改 ${azkaban-exec-home}/conf/azkaban.properties

注意:配置完成后,请分发到需要当做executor的节点,该节点相应的环境配置尽量一致(可避免再改)

# scp –r azkaban-exec-3.57 user@ip:/path     (根据实际用户、ip和路径)

激活executors:(手动插入mysql数据库)

# insert into executors(host,port,active) values('ip',12321,1);

Ip为executor主机,12321为端口,如有多台executor请相应插入多条数据

executor 启动与关闭(不要到bin下)

进入 ${azkaban-exec-home}

启动: ./bin/start-exec.sh

关闭: ./bin/shutdown-exec.sh

注意:多节点部署时,需要先启动executor,再启动web!!

到这里,azkaban的多节点安装完成。能正常启动没有问题。

要充分利用一些插件,需要额外做一些配置。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值