Oozie学习总结

总览

Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统。

参考，和阿兹卡班以及其他调度任务对比（侵删）：
https://blog.youkuaiyun.com/weixin_36836847/article/details/96379318

主要有三大功能模块构成：
workflow(工作流)：定义job任务执行。
Coordinator：定时触发workflow，周期性执行workflow
Bundle Job：绑定多个coordinator，一起提交或触发所以coordinator

我们正常的一个作业：
hql — 存储hive脚本
shell — 存储的是shell脚本

workflow.xml — 定义工作流，多脚本执行顺序，参数，并发等
job.properties — 定义启动终止时间，脚本里面需要用到的变量；
coordinator — 定义工作流的执行频率，以及部分 时间 （t-1day, month之类的）

oozie也是mr，只不过只执行了map，不用shuffle。

启动任务: oozie job -oozie oozie_url -config job.properties_address -run
停止任务: oozie job -oozie oozie_url -kill jobId -oozie-oozi -W
提交任务：oozie job -oozie oozie_url -config job.properties_address -submit
开始任务：oozie job -oozie oozie_url -config job.properties_address -startJobId -oozie-oozi -W
查看任务执行情况：oozie job -oozie oozie_url -config job.properties_address -info jobId -oozie-oozi -W

说明： 所有的命令都是以oozie job -oozie oozie_url 开头的-config 制定job.properties文件夹的位置，-run 文件启动后会返回一个唯一的jobId，供之后使用。

参考配置：
https://blog.youkuaiyun.com/oracle8090/article/details/54666543

oozie作业状态：
https://blog.youkuaiyun.com/weixin_34204722/article/details/91894217