qq_43617838的博客

azkaban介绍 为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示： 1...

先启动Hadoop，hive，和 azkaban的两个进程： 打开网页：https://192.168.xx.xx:8443自己IP地址登录即可（admin：admin） azkaban的运行执行脚本： 创建一个脚本a.job: #command.job type=command command=echo "hello world 压缩为a.zip 在azkaban里面创建一个项目上传a.zip之...