azkaban简单job示例以及多个有依赖关系的job示例
链接:https://www.cnblogs.com/qingyunzong/p/8810610.html
azkaban web地址: https://note1:8443
账号:admin
密码:admin
首页有四个菜单
projects:最重要的部分,创建一个工程,所有flows将在工程中运行。
scheduling:显示定时任务
executing:显示当前运行的任务
history:显示历史运行任务
步骤简写:
创建 .job文件 里面写脚本
zip -r 压缩名 .job文件
sz 压缩名
在web 页面创建项目 和描述 上传 刚才下载的压缩包 点击 :execute flow
在history可以看到 对应的项目及序号
这个序号 在对应的服务器上的/export/servers/azkaban/executorserver/executions下也有对应的序号目录【这个目录里有对应项目的日志文件 如:_flow.1.command.log ;_job.1.command.log(此日志文件中有执行命令的结果输出)】
举例1:打印 hello
vi command.job
#command.job
type=command
command=echo ‘hello’
举例2:俩个job有依赖关系
vi foo.job
#foo.job
type=command
command=echo

本文详细介绍了Azkaban中创建简单job的步骤,包括如何编写.job文件、设置依赖关系,以及如何通过Azkaban Web界面执行作业。通过示例展示了从打印Hello到执行HDFS操作、MapReduce计算圆周率、Hive SQL脚本的过程,解释了数据移动的原因,并提供了Hadoop目录结构的相关信息。
最低0.47元/天 解锁文章
1231

被折叠的 条评论
为什么被折叠?



