4）CDH 调度工具Azkaban安装

2019独角兽企业重金招聘Python工程师标准>>>

安装准备

        cd /opt

        tar zxvf azkaban-executor-server-2.5.0.tar.gz

        tar zxvf azkaban-web-server-2.5.0.tar.gz

        tar zxvf azkaban-sql-script-2.5.0.tar.gz

第一章 mysql配置

1.1 安装mysql

apt-get install mysql-server-5.5

1.2 启动服务

service mysqld start

1.3 设置密码

mysqladmin -u root password 'mysql'

1.4 建库建表

#登陆
$ mysql -uroot -pmysql

#建库
mysql> create database azkaban;

#登库
mysql> use azkaban;

#建表
mysql> source /opt/azkaban-2.5.0/create-all-sql-2.5.0.sql;

1.5新增用户

#新建用户
mysql> grant all privileges on azkaban.* to 'azkaban'@'%' identified by 'azkaban';

#刷新权限
mysql> flush privileges;

第二章 安装azkaban-web

2.1 生成SSL证书

        密码均设为'azkaban'，其他信息随意填写，生成的keystore文件复制到conf和bin目录下

/opt/azkaban-web-2.5.0$ keytool -keystore keystore -alias jetty -genkey -keyalg RSA

2.2 修改 azkaban.properties

        将所有路径都配置为绝对路径，否则会有各种找不到文件的错误

#Azkaban Personalization Settings
azkaban.name=Azkaban
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/opt/azkaban-web-2.5.0/web/
default.timezone.id=Asia/Shanghai

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
#user.manager.xml.file=conf/azkaban-users.xml
user.manager.xml.file=/opt/azkaban-web-2.5.0/conf/azkaban-users.xml

#Loader for projects
#executor.global.properties=conf/global.properties
executor.global.properties=/opt/azkaban-web-2.5.0/conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=cdh1
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore
jetty.password=azkaban
jetty.keypassword=azkaban
jetty.truststore=keystore
jetty.trustpassword=azkaban

# Azkaban Executor settings
executor.port=12321

# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=

lockdown.create.projects=false

cache.directory=cache

2.3 启动 azkaban-web

        启动后在bin目录下会产生日志文件，若启动错误可参看工作台输出和日志文件

#启动
/opt/azkaban-web-2.5.0/bin/azkaban-web-start.sh

#若需关闭
/opt/azkaban-web-2.5.0/bin/azkaban-web-shutdown.sh

2.4 登陆web页面

        浏览器输入：https://10.10.129.85:8443

        用户名：azkaban

        密码：azkaban

第三章 安装azkaban-exec

3.1 配置azkaban.properties

#Azkaban
default.timezone.id=Asia/Shanghai

# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes

#Loader for projects
executor.global.properties=/opt/azkaban-executor-2.5.0/conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=cdh1
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

3.2 启动azkaban-exec

        启动后在bin目录下会产生日志文件，若启动错误可参看工作台输出和日志文件

#启动
/opt/azkaban-executor-2.5.0/bin/azkaban-executor-start.sh

#若需关闭
/opt/azkaban-executor-2.5.0/bin/azkaban-executor-shutdown.sh

第四章 常见错误

1.azkaban-users.xml找不到

    Caused by: java.lang.IllegalArgumentException: User xml file conf/azkaban-users.xml doesn't exist.

    解决：配置文件azkaban.properties里user.manager.xml.file改为绝对路径

2.Keystore找不到

    java.io.FileNotFoundException: /opt/azkaban-web-2.5.0/bin/keystore (No such file or directory)

    解决：复制keystore文件到bin目录下

3.插件地址不存在

    ERROR [AzkabanWebServer] [Azkaban] plugin path plugins/triggers doesn't exist!

    解决：暂不需要更改

4.网页登陆显示不正常

 

       解决：修改web.resource.dir为绝对路径web.resource.dir=/opt/azkaban-web-2.5.0/web/

      解决：使用安全连接https://10.10.129.85:8443

5.网页提示不信任

      解决：添加例外

转载于:https://my.oschina.net/puwenchao/blog/1504739