一.为什么需要工作流调度系统
1）一个完整的数据分析系统通常都是由大量任务单元组成：
shell脚本程序，java程序，mapreduce程序、hive脚本等
2）各任务单元之间存在时间先后及前后依赖关系
3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；
例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：
（1）通过Hadoop先将原始数据
同步到HDFS上；
（2）借助MapReduce计算框架对原始数据进行计算，生成的数据以分区表的形式存储到多张Hive表中；
（3）需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
（4）将明细数据进行复杂的统计分析，得到结果报表信息；
（5）需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。
二.Azkaban安装部署
1.需要的安装包
azkaban-web-server-2.5.0.tar.gz
azkaban-executor-server-2.5.0.tar.gz
azkaban-sql-script-2.5.0.tar.gz
目前azkaban只支持 mysql，需安装mysql服务器，本文档中默认已安装好mysql服务器，并建立了 root用户，密码 123456
2.解压安装包
1)在/usr/local/目录下创建azkaban目录
[root@master ~]# mkdir azkaban
2）解压azkaban-web-server-2.5.0.tar.gz、azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gz到/usr/local/azkaban目录下
[root@master ~]# tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /usr/local/azkaban/
[root@master ~]# tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C /usr/local/azkaban/
[root@master ~]# tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C /usr/local/azkaban/
3.对解压后的文件重新命名
[root@master ~]# mv azkaban-web-2.5.0/ server
[root@master ~]# mv azkaban-executor-2.5.0/ executor
4.azkaban脚本导入
mysql> -u root -p 123456
mysql> create database azkaban;
mysql> use azkaban;
mysql> source /usr/local/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql
5.创建SSL配置
1)生成 keystore的密码及相应信息
[root@master ~]#keytool -keystore keystore -alias jetty -genkey -keyalg RSA
输入keystore密码：
再次输入新密码:
您的名字与姓氏是什么？
[Unknown]：
您的组织单位名称是什么？
[Unknown]：
您的组织名称是什么？
[Unknown]：
您所在的城市或区域名称是什么？
[Unknown]：
您所在的州或省份名称是什么？
[Unknown]：
该单位的两字母国家代码是什么
[Unknown]： CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗？
[否]： y
输入的主密码
（如果和 keystore 密码相同，按回车）：
再次输入新密码:
2）将keystore 考贝到 azkaban web服务器根目录中
[root@master ~]# mv keystore /usr/local/azkaban/server/
6.先配置好服务器节点上的时区
1）如果在/usr/share/zoneinfo/这个目录下不存在时区配置文件Asia/Shanghai，就要用 tzselect 生成。
[root@master ~]#tzselect
Please identify a location so that time zone rules can be set correctly.
Please select a continent or ocean.
- Africa
- Americas
- Antarctica
- Arctic Ocean
- Asia
- Atlantic Ocean
- Australia
- Europe
- Indian Ocean
- Pacific Ocean
- none - I want to specify the time zone using the Posix TZ format.
#? 5
Please select a country. - Afghanistan 18) Israel 35) Palestine
- Armenia 19) Japan 36) Philippines
- Azerbaijan 20) Jordan 37) Qatar
- Bahrain 21) Kazakhstan 38) Russia
- Bangladesh 22) Korea (North) 39) Saudi Arabia
- Bhutan 23) Korea (South) 40) Singapore
- Brunei 24) Kuwait 41) Sri Lanka
- Cambodia 25) Kyrgyzstan 42) Syria
- China 26) Laos 43) Taiwan
- Cyprus 27) Lebanon 44) Tajikistan
- East Timor 28) Macau 45) Thailand
- Georgia 29) Malaysia 46) Turkmenistan
- Hong Kong 30) Mongolia 47) United Arab Emirates
- India 31) Myanmar (Burma) 48) Uzbekistan
- Indonesia 32) Nepal 49) Vietnam
- Iran 33) Oman 50) Yemen
- Iraq 34) Pakistan
#? 9
Please select one of the following time zone regions. - Beijing Time
- Xinjiang Time
#? 1
The following information has been given:
China
Beijing Time
Therefore TZ=‘Asia/Shanghai’ will be used.
Local time is now: Wed Jun 14 09:16:46 CST 2017.
Universal Time is now: Wed Jun 14 01:16:46 UTC 2017.
Is the above information OK? - Yes
- No
#?1
2）拷贝该时区文件，覆盖系统本地时区配置
[root@master ~]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
3）集群时间同步
sudo date -s ‘2017-06-14 09:23:45’
hwclock -w
7.Web服务器配置
1）进入azkaban web服务器安装目录 conf目录，打开azkaban.properties文件
[root@master ~]# pwd
[root@master ~]# /usr/local/azkaban/server/conf
[root@master ~]# vim azkaban.properties
2）按照如下配置修改azkaban.properties文件
#Azkaban Personalization Settings
azkaban.name=Test #服务器UI名称,用于服务器上方显示的名字
azkaban.label=My Local Azkaban #描述
azkaban.color=#FF3601 #UI颜色
azkaban.default.servlet.path=/index #
web.resource.dir=/usr/local/azkaban/server/web/ # 一定要绝对路径默认根web目录
default.timezone.id=Asia/Shanghai #默认时区,已改为亚洲/上海 默认为美国
#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager #用户权限管理默认类
user.manager.xml.file=conf/azkaban-users.xml #一定绝对路径用户配置,具体配置参加下文
#Loader for projects
executor.global.properties=/usr/local/azkaban/executor/conf/global.properties #绝对路径 global配置文件所在位置
azkaban.project.dir=projects #
database.type=mysql #数据库类型
mysql.port=3306 #端口号
mysql.host=master #数据库连接IP
mysql.database=azkaban #数据库实例名
mysql.user=root #数据库用户名
mysql.password=123456 #数据库密码
mysql.numconnections=100 #最大连接数
# Velocity dev mode
velocity.dev.mode=false
# Jetty服务器属性.
jetty.maxThreads=25 #最大线程数
jetty.ssl.port=8443 #Jetty SSL端口
jetty.port=8081 #Jetty端口
jetty.keystore=/usr/local/azkaban/server/keystore #绝对路径SSL文件名
jetty.password=000000 #SSL文件密码
jetty.keypassword=000000 #Jetty主密码 与 keystore文件相同
jetty.truststore=/usr/local/azkaban/server/keystore #绝对路径SSL文件名
jetty.trustpassword=000000 # SSL文件密码
# 执行服务器属性
executor.port=12321 #执行服务器端口
# 邮件设置
mail.sender=xxxxxxxx@163.com #发送邮箱
mail.host=smtp.163.com #发送邮箱smtp地址
mail.user=xxxxxxxx #发送邮件时显示的名称
mail.password=********** #邮箱密码
job.failure.email=xxxxxxxx@163.com #任务失败时发送邮件的地址
job.success.email=xxxxxxxx@163.com #任务成功时发送邮件的地址
lockdown.create.projects=false #
cache.directory=cache #缓存目录
2）web服务器用户配置
在azkaban web服务器安装目录 conf目录，按照如下配置修改azkaban-users.xml 文件，增加管理员用户。
<azkaban-users>
<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
<user username="metrics" password="metrics" roles="metrics"/>
<user username="admin" password="admin" roles="admin,metrics" />
<role name="admin" permissions="ADMIN" />
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
8.执行服务器配置
1）进入执行服务器安装目录conf，打开azkaban.properties
[root@master ~]# pwd
[root@master ~]# /usr/local/azkaban/executor/conf
[root@master ~]# vim azkaban.properties
2）按照如下配置修改azkaban.properties文件。
#Azkaban
default.timezone.id=Asia/Shanghai #时区
# Azkaban JobTypes 插件配置
azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置
#Loader for projects
executor.global.properties=/usr/local/azkaban/executor/conf/global.properties #绝对路径
azkaban.project.dir=projects
#数据库设置
database.type=mysql #数据库类型(目前只支持mysql)
mysql.port=3306 #数据库端口号
mysql.host=192.168.88.5 #数据库IP地址
mysql.database=azkaban #数据库实例名
mysql.user=root #数据库用户名
mysql.password=000000 #数据库密码
mysql.numconnections=100 #最大连接数
# 执行服务器配置
executor.maxThreads=50 #最大线程数
executor.port=12321 #端口号(如修改,请与web服务中一致)
executor.flow.threads=30 #线程数
9.启动web服务器
在azkaban web服务器目录下执行启动命令
[root@master ~]# pwd
[root@master ~]# /usr/local/azkaban/server/bin
[root@master ~]# ./azkaban-web-start.sh
10.启动执行服务器
在执行服务器目录下执行启动命令
[root@master ~]# pwd
[root@master ~]# /usr/local/azkaban/executor/bin
[root@master ~]# ./azkaban-executor-start.sh
启动完成后，在浏览器(建议使用谷歌浏览器)中输入https://服务器IP地址:8443，即可访问azkaban服务了。在登录中输入刚才新的户用名及密码，点击 login。
扫一扫
1335
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
