Azkaban的环境搭建

最新推荐文章于 2024-09-10 09:17:09 发布

佳君德怀恩帮子

最新推荐文章于 2024-09-10 09:17:09 发布

阅读量1.7k

点赞数

分类专栏： Hadoop 文章标签： hadoop azkaban 调度系统

本文链接：https://blog.youkuaiyun.com/f445239051/article/details/68496846

版权

本文详述了Azkaban 2.6.4的环境搭建过程，包括准备jdk1.7、ant等资源，编译azkaban源码，创建azkaban数据库，导入sql文件，配置azkaban-exec-server和azkaban-web-server，最后启动服务，以支持Hadoop任务调度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Azkaban的环境搭建

因为最近工作的需要，需要搭建一个可以支持Hadoop任务的调度系统，于是博主开始了Azkaban的挖坑活动。

Azkaban是一种类似于Oozie的工作流控制引擎，可以用来解决多个Hadoop计算任务之间的依赖关系问题。

本文分为如下几个部分说明搭建的过程：

搭建开发环境
导入sql文件
配置 azkaban-exec-server
配置azkaban-web-server*

搭建开发环境

准备的资源：
jdk1.7
ant(用来编译plugins)
azkaban-2.6.4.tar.gz
azkaban-plugins-2.6.4.tar.gz

选型：
我们选用2.6.4这样的旧版本主要是新版本编译的时候总是出现奇怪的问题。

编译azkaban-2.6.4.tar.gz

解压缩azkaban-2.6.4.tar.gz，放到你自己的${AZKABAN_HOME_COMPILE}目录下,在${ AZKABAN_HOME_COMPILE }目录下执行
./gradlew distTar

编译过程会出现createVersionFile的问题，我比较暴力的解决方法是去掉这一块的代码
比如把每一个project中的
task copy(dependsOn: [
      'createVersionFile',
      'copyLibs',
      'copyDeps',
      'copyPackage']) {
  }
替换成
task c