Azkaban的安装部署

Azkaban的安装部署

1. 准备工作

1) Azkaban Web 服务器 azkaban-web-2.5.0.zip

2) Azkaban 执行服务器 azkaban-executor-2.5.0.zip

3) MySQL 脚本 azkaban-sql-script-2.5.0.tar.gz

2.安装MySQL

1) 安装 mysql

这个可以在我的博客中hive的安装那儿找到

2) 修改 MySQL 的编码

vim /usr/share/mysql/my-default.conf 或者 vim /etc/my.cnf

default-character-set=utf8 默认字符集为 utf8

修改好重启 MySQL 即可

3. 配置 MySQL

创建 MySQL 用户 azkaban

Grant all on *.* to azkaban@’%’ identified by ‘azkaban’;

Grant all on *.* to azkaban@’master’ identified by ‘azkaban’

Grant all on *.* to azkaban@’localhost’ identified by‘azkaban’

flush privileges;

exit

登录：mysql -uazkaban -pazkaban

建库：create database azkaban

执行初始化脚本如下：

tar –zxvf azkaban-sql-script-2.5.0.tar.gz

mysql> use azkaban

mysql> source /home/yangxp/Azkaban-2.5.0/ create-all-sql-2.5.0.sql

4. 配置 Azkaban Web Server

1) 解压安装 unzip azkaban-web-2.5.0.zip

2) 上传 mysql 驱动包到 /home/yangxp/Azkaban-web-2.5.0/extlib/ 目录下

3) 此时在/home/yangxp/Azkaban-web-2.5.0/lib/ 下面就有 mysql 的驱动包了

4) 配置 Jetty（Jetty 是一个开源的 servlet 容器 类似 tomcat）https ssl

在 linux 控制输入如下命令

i. keytool -keystore keystore -alias jetty -genkey -keyalg RSA

ii. Enter keystore password: changeit

iii. What is your first and last name? 您的名字与姓氏是什么？

iv. What is the name of your organizational unit?您的组织单位名称是什么？

v. What is the name of your organization?您的组织名称是什么？

vi. What is the name of your City or Locality?您所在的城市或区域名称是什么？

vii. What is the name of your State or Province?您所在的州或省份名称是什么？

viii. What is the two-letter country code for this unit?该单位的两字母国家代码是什

么

ix. Is CN=jetty.mortbay.org, OU=Jetty, O=Mort Bay Consulting Pty. Ltd.,

x. L=Unknown, ST=Unknown, C=Unknown correct?正确吗？

xi. [no]: yes

xii. Enter key password for <jetty>

xiii. (RETURN if same as keystore password): changeit

注意这里 keystore 的密码为 changeit

完成上述工作后,将在当前目录生成 keystore 证书文件,将 keystore 考贝到 azkaban

web 服务器根目录中如: cp ./keystore azkaban/webserver

5) 修改 Azkaban Web Server 下 conf/Azkaban.properties

Vim Azkaban.properties

azkaban.name=Test #服务器UI 名称,用于服务器上方显示的名字

azkaban.label=My Local Azkaban #描述

azkaban.color=#FF3601 #UI 颜色

azkaban.default.servlet.path=/index #

web.resource.dir=web/ #默认根 web 目录

default.timezone.id=Asia/Shanghai #默认时区,已改为亚洲/上海 默认为美国

#Azkaban UserManager class

user.manager.class=azkaban.user.XmlUserManager #用户权限管理默认类

user.manager.xml.file=conf/azkaban-users.xml #用户配置,具体配置参加下文

#Loader for projects

executor.global.properties=conf/global.properties # global 配置文件所在位置

azkaban.project.dir=projects

database.type=mysql #数据库类型

mysql.port=3306 #端口号

mysql.host=192.168.20.200 #数据库连接 IP

mysql.database=azkaban #数据库实例名

mysql.user=azkaban #数据库用户名

mysql.password=oracle #数据库密码

mysql.numconnections=100 #最大连接数

# Velocity dev mode

velocity.dev.mode=false

# Jetty 服务器属性.

jetty.maxThreads=25 #最大线程数

jetty.ssl.port=8443 #Jetty SSL 端口

jetty.port=8081 #Jetty 端口

jetty.keystore=keystore #SSL 文件名

jetty.password=changeit #SSL 文件密码

jetty.keypassword=changeit #Jetty主密码 与 keystorm文件相

同

jetty.truststore=keystore #SSL 文件名

jetty.trustpassword=changeit # SSL 文件密码

# 执行服务器属性

executor.port=12321 #执行服务器端口

#邮件可以自己设置，这里就不进行设置。

 

5. 配置 Azkaban Executor Server

1) 解压安装 unzip /home/yangxp/ azkaban-executor-2.5.0.zip

2) 进入 conf 目录

vim Azkaban.properties

#Azkaban

default.timezone.id=Asia/Shanghai #时区

# Azkaban JobTypes Plugins 插件配置

azkaban.jobtype.plugin.dir=plugins/jobtypes

#Loader for projects

executor.global.properties=conf/global.properties

azkaban.project.dir=projects

database.type=mysql #数据库类型（目前只支持 MySQL 数据库）

mysql.port=3306

mysql.host=master

mysql.database=azkaban

mysql.user=hadoop

mysql.password=hadoop

mysql.numconnections=100 #数据库最大连接数

# Azkaban Executor settings

executor.maxThreads=50

executor.port=12321

executor.flow.threads=30

3) 进入 Azkaban Web 服务器 conf 目录 修改 azkaban-users.xml

vim azkaban-users.xml

<azkaban-users>

<user username="azkaban" password="azkaban" roles="admin" groups="azkaban"/>

<user username="metrics" password="metrics" roles="metrics"/>

<user username="admin" password="admin" roles="admin,metrics" />

<role name="admin" permissions="ADMIN" />

<role name="metrics" permissions="METRICS"/>

</azkaban-users>

6. 启动 Web Server

1) 启动 Web Server 进入到 azkaban-web-2.5.0 的根目录下，然后输入下面命令:

bin/azkaban-web-start.sh (注意，一定是在 azkaban-web-2.5.0 的根目录下)

2) 访问 Web Server

在浏览器中输入：https://master:8443

可以输入刚刚在 azkaban-users.xml 中配置的用户名和密码

Username:admin

Password:admin

7. 启动执行服务器

进入到 azkaban-executor-2.5.0 目录下

bin/azkaban-executor-start.sh 注意：只能在执行服务器的根目录下执行

在控制台 jps 查看启动进程

8. 启动完成后,在浏览器中输入 https://服务器 IP 地址:8443 ,即可访问 azkaban 服务了.在登

录中输入刚才新的户用名及密码,点击 login