Movle

一 概述 1.1 为什么需要工作流调度系统 1.一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 2.各任务单元之间存在时间先后及前后依赖关系 3.为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；     例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示： (1)通过Hadoop先将原始数据上传到HDFS上（HD

1.1 安装前准备 1.将Azkaban Web服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到bigdata111虚拟机/opt/software目录下 1) azkaban-web-server-2.5.0.tar.gz 2) azkaban-executor-server-2.5.0.tar.gz 3) azkaban-sql-script-2.5.0.tar.gz 4) mysql-libs.zip 2.选择Mysql作为Azkaban数据库，因为Azkab

Azkaba内置的任务类型支持command、java 1.1单一job案例 1.创建job描述文件(可以在linux里写，也可以在windows或者mac中写完在打包上传) (a)方法一：在linux里创建并压缩 创建： vi first.job 添加内容： #first.job type=command command=echo 'this is my first job' 2. linux中:将job资源文件打包成zip文件 zip first.zip first.job 注意： 目前，Az

0.数据源： word.txt: AAA BBB DDD CCC AAA Movle Kai Movle BBB yue 1.创建有依赖关系的多个job描述 第一个job：1.job vi 1.job 添加内容： type=command command=/opt/module/hadoop-2.8.4/bin/hadoop fs -put /opt/module/datas/word.txt / 第二个job：2.job依赖1.job vi 2.job 添加内容： type=command

使用Azkaban调度java程序 1.编写java程序 import java.io.FileOutputStream; import java.io.IOException; public class AzkabanTest { public void run() throws IOException { // 根据需求编写具体代码 FileOutputStream fos = new FileOutputStream("/opt/module/azka

1.创建job描述文件 vi hdfs.job 添加内容： #hdfs job type=command command=/opt/module/hadoop-2.8.4/bin/hadoop fs -mkdir /azkaban 2.将job资源文件打包成zip文件 zip fs.zip fs.job 3.通过azkaban的web管理平台创建project并上传job压缩包 4.执行： 5.查看结果 ...

mapreduce任务依然可以使用azkaban进行调度 1.创建job描述文件，及mr程序jar包 vi mapreduce.job 添加内容： #mapreduce job type=command command=/opt/module/hadoop-2.8.4/bin/hadoop jar /opt/module/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /wordcount/

1.创建job描述文件和hive脚本 (1)Hive脚本：student.sql vim student.sql 添加内容： use default; drop table student; create table student(id int, name string) row format delimited fields terminated by '\t'; load data local inpath '/opt/module/datas/student.txt' into table stu