azkaban2.0编写

最新推荐文章于 2024-10-03 07:00:00 发布

余人29

最新推荐文章于 2024-10-03 07:00:00 发布

阅读量219

点赞数

CC 4.0 BY-SA版权

文章标签： p2p 网络协议网络

本文链接：https://blog.youkuaiyun.com/weixin_65923698/article/details/123574140

本文档介绍了如何创建Azkaban工作流，包括创建文件夹、定义.project和.flow文件，以及详细阐述了.job文件中各个任务的依赖关系和配置。在.job.flow文件中，配置了多个命令类型的任务，如job1到job6，每个任务都有相应的命令执行脚本，并通过配置依赖关系确保执行顺序。此外，还提到了动态参数传递的方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先创建一个文件夹azkaban1
创建两个文件分别以 .project、 .flow结尾的文件
在demo.project文件内写入使用azkaban2.0

azkaban-flow-version: 2.0

在job.flow的文件写入具体的job

config:
    to_date: ""

nodes:
   - name: job1
     type: command
     config:
        command: /opt/musicproject/1produce_clientlog.sh ${to_date}
   - name: job2
     type: command
     config:
        command: /opt/musicproject/2extract_mysqldata_to_ods.sh ${to_date}
   - name: job3
     type: command
     dependsOn:
        - job2
     config:
        command: /opt/musicproject/3produce_tw_song_baseinfo_d.sh ${to_date}
   - name: job4
     type: command
     dependsOn:
        - job1
        - job3
     config:
        command: /opt/musicproject/4produce_tw_song_ftur_d.sh ${to_date}
   - name: job5
     type: command
     dependsOn:
        - job4
     config:
        command: /opt/musicproject/5produce_tw_song_rsi_d.sh ${to_date}
   - name: job6
     type: command
     dependsOn:
        - job5
     config:
        command: /opt/musicproject/6produce_tw_singer_rsi_d.sh ${to_date}

config:
to_date: "" ：给动态传参设置，默认值

注意事项：

job与job之间上下对齐，不要使用制表符。