数据仓库任务调度器-Azkaban 入门＜集群安装及测试＞

数据仓库任务调度器-Azkaban | 入门<集群安装级测试>

---

安装包获取链接：https://pan.baidu.com/s/1bpM8oZHiIEqe8-m8wAgEcA?pwd=1111
提取码：1111

一、任务调度器的用途

在一个完整的大数据项目中，我们的整个项目往往是由多个任务单元组成，我这里以数据仓库为例：
1、在整个数据仓库的执行流程中我们涉及到大量的Shell脚本程序、Hive脚本程序、MR程序、Java程序等
2、在1的基础上，数据仓库的执行流程中脚本之间存在着前后的相互依赖关系，例如：生成数据—>flume监控数据---->将数据导入到hdfs—>将数据加载到数据仓库等等一系列的操作，都有着前后的依赖关系。
如果这些任务调度让人来手动进行的话容易产生错误，并且效率非常低下，完全不符合企业生产的需要，所以我们将会使用工作流程调度系统来为我们执行调度任务

二、常用任务调度器的比较

• 1 简单任务调度：可以直接使用linux的Crontab
• 2 复杂任务调度：可以使用Ooize、Azkaban、Airflow等
• 比较：Crontab 常用语调度周期性被执行的指令，不适用于实现多个调度的依赖关系；Oozie的功能非常强大，但是Oozie若不是在CHD环境下的hue的话，需要编写大量的XML文件来实现调度功能，不便于管理和功能实现；Airflow是基于python脚本实现的，功能也非常强大，同时实现也并不是非常复杂，但是由于本人目前还没有开始python的学习，此内容在后期更新；
• 今日重点：Azkaban 定义了一种 KV 文件格式来建立任务之间的依赖关系，更利于在一个工作流内以一个特定的顺序运行一组工作和流程。，并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。

三、Azkaban集群模式的安装

• 3.1 azkaban组件：azkaban-web、azkaban-exec、azkaban依赖数据库

• 3.2 集群安装部署

  bigdata01	bigdata02	bigdata03
  Azkaban-web
  Azkaban-exec	Azkaban-exec	Azkaban-exec

• 3.3 安装

  • 3.3.1 上传安装包并解压
    1)上传jar包：将上面下载三个jar包全部上传到服务器(虚拟机)中的一台，我这里是bigdata01下的/opt/soft/azkaban/目录下.

    [root@bigdata01 azkaban]# pwd
    /opt/soft/azkaban
    [root@bigdata01 azkaban]# ll
    -rw-r–r–. 1 root root 6433 Sep 27 09:40 azkaban-db-3.84.4.tar.gz
    -rw-r–r–. 1 root root 16175002 Sep 27 09:40 azkaban-exec-server-3.84.4.tar.gz
    -rw-r–r–. 1 root root 20239974 Sep 27 09:40 azkaban-web-server-3.84.4.tar.gz

    2)解压jar包：将上面上传的三个jar包解压到安装目录,我这里是/opt/module/azkaban目录下

    [root@bigdata01 azkaban]# tar -zvxf azkaban-db-3.84.4.tar.gz -C /opt/module/azkaban/
    [root@bigdata01 azkaban]# tar -zvxf azkaban-exec-server-3.84.4.tar.gz -C /opt/module/azkaban/
    [root@bigdata01 azkaban]# tar -zvxf azkaban-web-server-3.84.4.tar.gz -C /opt/module/azkaban/

    3)修改名字：在安装目录下对解压后的安装包进行修改名字(可以不修改，修改只是为了后期操作方便)

    mv azkaban-exec-server-3.84.4/ azkaban-exec
    mv azkaban-web-server-3.84.4/ azkaban-web

  • 3.3.2 为Azkaban配置mysql (以下命令均在mysql中操作)

    1） 在mysql中创建数据库azkaban

    CREATE DATABASE azkaban;
    

    2）创建用户azkaban并且赋予权限
    创建azkaban用户

    %是主机，百分号说明任意主机都可以连接、123456是用户azkaban的专属密码

    CREATE USER 'azkaban'