Azkaban的编译与安装

安装环境

CentOS 7(使用的虚拟机镜像为CentOS-7-x86_64-DVD-1611.iso),环境是干净的,未做过其它配置

安装说明

本次安装为solo-server模式,不需要独立部署数据库。

安装前提

需要Oracle JDK

说明:该镜像中自带Open JDK,但是不安装Oracle JDK会造成编辑失败(找不到tool.jar等错误)。因此需要先安装Oracle JDK,并配置相应的环境变量

[root@localhost lib]# java -version

java version "1.8.0_172"

Java(TM) SE Runtime Environment (build 1.8.0_172-b11)

Java HotSpot(TM) 64-Bit Server VM (build 25.172-b11,mixed mode)

编译安装包:

1.        编译环境:

  # yuminstall git

# yum install gcc-c++

2.        下载源码&解压

# wgethttps://github.com/azkaban/azkaban/archive/3.42.0.tar.gz

# mv3.42.0.tar.gz azkaban-3.42.0.tar.gz

# tar -zxvf azkaban-3.42.0.tar.gz

3.        编译

# cdazkaban-3.42.0

# ./gradlew build installDist -x test #Gradle是一个基于Apache AntApache Maven的项目自动化构建工具。-x test 跳过测试

编译后的目录如下所示

# cd /root/azkaban-3.42.0

#solo-server模式安装包路径

# ls azkaban-solo-server/build/distributions/

#two-server模式和multiple-executor模式web-server安装包路径

# ls azkaban-web-server/build/distributions/

#two-server模式和multiple-executor模式exec-server安装包路径

# ls azkaban-exec-server/build/distributions/

solo-server模式部署

可以直接在编译后生成的install/root/azkaban-3.42.0/azkaban-solo-server/build/install/azkaban-solo-server)目录下执行启动,也可以利用编译后生成的软件包重新部署启动。

如下示例以重新部署为例进行说明:

1.        拷贝solo部署包到/root目录下:

# cd /root/azkaban-3.42.0/azkaban-solo-server/build/distributions

# cp azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz/root/

2.        解压安装包:

# cd

# tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz

3.        修改配置文件commonprivate.properties

# cd /root/azkaban-solo-server-0.1.0-SNAPSHOT/plugins/jobtypes

增加如下内容:

memCheck.enabled=false

因为:

azkaban默认要求机器是3G及以上的,我们很多情况的vps都达不到这个水平,我们必须修改这个配置,否则任务将一直为running状态!

4.        修改配置文件

修改default.timezone.id参数的值为机器的实际值(在centos中通过timedatectl命令查看)

# cd /root/azkaban-solo-server-0.1.0-SNAPSHOT/conf

# vi azkaban.properties

default.timezone.id=Asia/Shanghai

启动Azkaban

# cd /root/azkaban-solo-server-0.1.0-SNAPSHOT

# ./bin/azkaban-solo-start.sh

说明:必须在Azkaban的家目录下启动,否则启动时会出现sql脚本或配置文件找不到的错误。关闭时,则需要到bin目录下去执行shutdown脚本。

5.        使用jps命令检查启动状态,出现AzkabanSingleServer进程则说明已经启动。

[root@localhost ~]# jps

64465 Jps

64399 AzkabanSingleServer

也可以使用netstat命令检查默认web端口是否已监听:

[root@localhost ~]# netstat -an | grep 8081

tcp6      0      0 :::8081                 :::*                    LISTEN

6.        访问界面。

访问URL为:http://IP:8081/index

默认用户名为:azkaban/Azkaban

可以在/root/azkaban-solo-server-0.1.0-SNAPSHOT/conf/azkaban-users.xml文件中查看或配置。

初次登录的界面如下所示:


参考:https://blog.youkuaiyun.com/wangpei1949/article/details/79521722

https://blog.youkuaiyun.com/wang7807564/article/details/78960700



版本:3.38,解压后,配置自己的环境可直接用 azkaban-3.38.0\azkaban-db azkaban-3.38.0\azkaban-exec-server azkaban-3.38.0\azkaban-solo-server azkaban-3.38.0\azkaban-web-server ----------------后续步骤------------------ 1.创建数据库并导入基本数据 (1)创建数据库 create database azkaban; (2)mysql授权 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; FLUSH PRIVILEGES; (3)导入数据 use azkaban; source /opt/azkaban-3.38.0/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql 2. ssl配置 cd /opt/azkaban-3.38.0\azkaban-web-server keytool -keystore keystore -alias jetty -genkey -keyalg RSA 输入密钥库口令: 再次输入新口令: 您的名字姓氏是什么? [Unknown]: xue 您的组织单位名称是什么? [Unknown]: xue 您的组织名称是什么? [Unknown]: xue 您所在的城市或区域名称是什么? [Unknown]: beijing 您所在的省/市/自治区名称是什么? [Unknown]: beijing 该单位的双字母国家/地区代码是什么? [Unknown]: CN CN=xue, OU=xue, O=xue, L=beijing, ST=beijing, C=CN是否正确? [否]: Y 输入 的密钥口令 (如果和密钥库口令相同, 按回车): 3.修改azkaban-exec-server下配置文件,引入mysql的依赖包 (1)将azkaban-solo-server下conf、plugins、sql目录复制到azkaban-exec-server目录下 cd azkaban-3.38.0/azkaban-solo-server/ cp -a ./conf ./plugins ./sql ../azkaban-exec-server (2)修改azkaban-exec-server/conf/的azkaban.properties文件 # Azkaban Personalization Settings azkaban.name=master azkaban.label=My Local Azkaban azkaban.color=#FF3601 azkaban.default.servlet.path=/index web.resource.dir=web/ #修改时区 default.timezone.id=Asia/Shanghai # Azkaban UserManager class user.manager.class=azkaban.user.XmlUserManager #修改为绝对路径,否则可能找不到 user.manager.xml.file=/opt/azkaban-3.38.0/azkaban-exec-server/conf/azkaban-users.xml # Loader for projects executor.global.properties=/opt/azkaban-3.38.0/azkaban-exec-server/conf/global.properties azkaban.project.dir=projects database.type=mysql mysql.port=3306 mysql.host=master mysql.database=azkaban mysql.user=root mysql.password=123456 mysql.numconnections=100 (其他默认) 4. 在conf目录下新建log4j.properties文件 [root@master azkaban-exec-server]# vim conf/log4j.properties 复制以下内容到log4j文件: log4j.rootLogger=INFO, Console log4j.logger.azkaban=INFO, server log
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀桦坞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值