Faded1573606285的博客

Azkaba内置的任务类型支持command、java1单一job案例1）创建job描述文件[atguigu@hadoop102 jobs]$ vim first.job#first.jobtype=commandcommand=echo 'this is my first job'2) 将job资源文件打包成zip文件[atguigu@hadoop102 j...

1 安装前准备将Azkaban Web服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到hadoop102虚拟机/opt/software目录下 azkaban-web-server-2.5.0.tar.gz azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz...

一 概述1.1 为什么需要工作流调度系统1）一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等2）各任务单元之间存在时间先后及前后依赖关系3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，...