azkaban使用--依赖dependencies作业

本文详细介绍了如何使用Azkaban进行作业的创建和执行流程。首先通过shell命令创建了两个作业,分别为job one和job two,其中job two依赖于job one。然后将包含这两个作业的文件夹压缩成zip格式,以便于上传到Azkaban平台进行执行。最后,通过查看flow log来确定作业运行的状态和节点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.创建作业

[root@localhost azkaban_job]# ls
one.job  two.job
[root@localhost azkaban_job]# cat one.job 
type=command
command=echo "this is job one"
[root@localhost azkaban_job]# cat two.job 
type=command
dependencies=one
command=echo "this is job two"
[root@localhost azkaban_job]# cd ..
[root@localhost shell]# ls
azkaban_job
[root@localhost shell]# zip -r azkaban_job20190428.zip azkaban_job/
  adding: azkaban_job/ (stored 0%)
  adding: azkaban_job/one.job (deflated 11%)
  adding: azkaban_job/two.job (deflated 8%)
[root@localhost shell]# 

2.上传执行

 

 

 

 

 

 

 

 

 查看flow log,确定运行在哪个节点上

 

转载于:https://www.cnblogs.com/pu20065226/p/10784260.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值