azkaban简单job示例以及多个有依赖关系的job示例以及 azkaban web界面介绍

本文详细介绍了Azkaban中创建简单job的步骤,包括如何编写.job文件、设置依赖关系,以及如何通过Azkaban Web界面执行作业。通过示例展示了从打印Hello到执行HDFS操作、MapReduce计算圆周率、Hive SQL脚本的过程,解释了数据移动的原因,并提供了Hadoop目录结构的相关信息。

azkaban简单job示例以及多个有依赖关系的job示例

链接:https://www.cnblogs.com/qingyunzong/p/8810610.html

azkaban web地址: https://note1:8443
账号:admin
密码:admin

首页有四个菜单

projects:最重要的部分,创建一个工程,所有flows将在工程中运行。
scheduling:显示定时任务
executing:显示当前运行的任务
history:显示历史运行任务

步骤简写:
创建 .job文件 里面写脚本
zip -r 压缩名 .job文件
sz 压缩名
在web 页面创建项目 和描述 上传 刚才下载的压缩包 点击 :execute flow
在history可以看到 对应的项目及序号
这个序号 在对应的服务器上的/export/servers/azkaban/executorserver/executions下也有对应的序号目录【这个目录里有对应项目的日志文件 如:_flow.1.command.log ;_job.1.command.log(此日志文件中有执行命令的结果输出)】

举例1:打印 hello
vi command.job
#command.job
type=command
command=echo ‘hello’

举例2:俩个job有依赖关系
vi foo.job
#foo.job
type=command
command=echo

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值