azkaban多job串联执行

最新推荐文章于 2022-03-17 15:19:00 发布

转载最新推荐文章于 2022-03-17 15:19:00 发布 · 673 阅读

学习专栏收录该内容

12 篇文章

订阅专栏

本文介绍了一种使用Azkaban执行多个Job的方案，通过两个具体案例展示了如何实现共同好友查找的功能。采用Hadoop环境下的Jar包执行方式，详细记录了从数据输入到输出的全过程。

关于共同好友查找的多job串联 azkaban执行

源文件1.job

type=command
command=/opt/model/hadoop-2.8.4/bin/hadoop jar /opt/model/aztest/itstar-1.0-SNAPSHOT.jar com.bigdata.friends.friends1.FriendsMain1 /wordcount/friends.txt /wordcount/wordcount1

源文件2.job

type=command
command=/opt/model/hadoop-2.8.4/bin/hadoop jar /opt/model/aztest/itstar-1.0-SNAPSHOT.jar com.bigdata.friends.friends2.Friends2Main  /wordcount/wordcount1/part-r-00000  /wordcount/wordcount2
dependencies=1

azkaban运行效果图
在这里插入图片描述
job1运行结果图

job2运行结果图