Azkaban编译安装完整版(集群模式)

@羲凡——只为了更好的活着

Azkaban编译安装完整版(集群模式)

Azkaban是一个任务调度工具。安装模式也分单机模式和集群模式。下面来编译安装Azkaban-3.84.21

前期准备

安装git、java8、mysql

一、编译

1.下载oozie源码包

wget https://github.com/azkaban/azkaban/archive/3.84.21.tar.gz

2.解压

tar -zxf 3.84.21.tar.gz -C ./

3.执行编译命令

cd azkaban-3.84.21/
./gradlew build
./gradlew installDist

4.查看编译结果

如果出现如下内容，则说明你已经编译成功

编译成功的文件主要有四个，
1.azkaban-db-0.1.0-SNAPSHOT.tar.gz(建库sql语句)，所在目录
所在目录 azkaban-db/build/distributions
2.azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz(执行器服务)，所在目录
azkaban-exec-server/build/distributions
3.azkaban-web-server-0.1.0-SNAPSHOT.tar.gz(web界面服务)，所在目录
azkaban-web-server/build/distributions
4.azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz(单机安装使用)，所在目录
azkaban-solo-server/build/distributions/
本文安装集群版本，所以solo对应的文件用不到了

二、安装

1.将编译生成的db、exec、web，三个tar包，解压到一个新的目录下

mkdir /opt/modules/azkaban
cd /opt/modules/azkaban
tar -zxf azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz 
tar -zxf azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
tar -zxf azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz

mv azkaban-db-0.1.0-SNAPSHOT/ azkaban-db
mv azkaban-exec-server-0.1.0-SNAPSHOT/ azkaban-exec-server
mv azkaban-web-server-0.1.0-SNAPSHOT/ azkaban-web-server

2.建库建表(mysql)

create database azkaban;
use azkaban ;
source /opt/modules/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql ;

3.配置参数

1.azkaban-exec-server/conf/azkaban.properties

azkaban.name=Test-Aaron
web.resource.dir=/opt/modules/azkaban/azkaban-web-server/web/
default.timezone.id=Asia/Shanghai
user.manager.xml.file=/opt/modules/azkaban/azkaban-web-server/conf/azkaban-users.xml
executor.global.properties=/opt/modules/azkaban/azkaban-exec-server/conf/global.properties
azkaban.webserver.url=http://ml14.com:8081
azkaban.jobtype.plugin.dir=/opt/modules/azkaban/azkaban-exec-server/plugins/jobtypes
mysql.host=ml14.com
mysql.database=azkaban
mysql.user=root
mysql.password=123456
executor.port=1227

2.azkaban-web-server/conf/azkaban.properties

azkaban.name=Test-Aaron
web.resource.dir=/opt/modules/azkaban/azkaban-web-server/web/
default.timezone.id=Asia/Shanghai
user.manager.xml.file=/opt/modules/azkaban/azkaban-web-server/conf/azkaban-users.xml
executor.global.properties=/opt/modules/azkaban/azkaban-exec-server/conf/global.properties
mysql.host=ml14.com
mysql.database=azkaban
mysql.user=root
mysql.password=123456

3.azkaban-web-server/conf/azkaban-users.xml

<azkaban-users>
  <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
  <user password="metrics" roles="metrics" username="metrics"/>
  <user password="Aaron227" roles="metrics,admin" username="Aaron"/>

  <role name="admin" permissions="ADMIN"/>
  <role name="metrics" permissions="METRICS"/>
</azkaban-users>

4.分发

scp -r azkaban/ ml15.com:/opt/modules/
scp -r azkaban/ ml16.com:/opt/modules/

5.启动

启动exec(三台机器都启动)

cd /opt/modules/azkaban/azkaban-exec-server
bin/start-exec.sh

激活exec状态

curl http://ml14.com:1227/executor?action=activate
curl http://ml15.com:1227/executor?action=activate
curl http://ml16.com:1227/executor?action=activate

启动web

cd /opt/modules/azkaban/azkaban-web-server
bin/start-web.sh

5.查看界面

http://ml14.com:8081/index

====================================================================

@羲凡——只为了更好的活着

若对博客中有任何问题，欢迎留言交流