Azkaban使用

最新推荐文章于 2025-09-06 21:58:22 发布

转载最新推荐文章于 2025-09-06 21:58:22 发布 · 171 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/suixingc/p/azkaban-ju-ti-shi-yong--dependency-hdfs-mr-hive.html

文章标签：

#大数据 #ui

本文介绍Azkaban工作流管理系统的具体使用方法，重点讲解如何设置作业间的依赖关系，以及如何通过Azkaban执行HDFS操作、MapReduce任务和Hive查询。通过实例演示了从作业定义、打包上传到执行查看结果的全过程。

dependency

1 创建一个带dependency的作业关键点: dependencies first.job type=command command=echo "first" second.job type=command dependencies=first command=echo "second" 将first.job和second.job一起压缩,创建项目,上传,执行,查看结果

hdfs

操作HDFS文件系统 hdfs.job type=command command=/Users/hadoop/app/hadoop/bin/hadoop fs -ls / 压缩,上传,执行,看结果,在web UI端的8088端口,查看mapreduce进度,及详细信息

MapReduce

mr.job: type=command command=/Users/hadoop/app/hadoop/bin/hadoop jar /Users/hadoop/app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount hdfs://Master:8020/ruozeinput.txt hdfs://Master:8020/az_out/wc 压缩成mr.zip,上传,执行,查看结果