Oozie提交作业总结

最新推荐文章于 2022-01-20 09:35:38 发布

asin929

最新推荐文章于 2022-01-20 09:35:38 发布

阅读量5.5k

点赞数 2

分类专栏： Oozie 文章标签： oozie rest job example mapreduce

本文链接：https://blog.youkuaiyun.com/u012948976/article/details/53236089

版权

本文介绍了两种方式提交Oozie作业：命令行和REST接口。在命令行方式中，详细说明了提交流程。而在REST方式中，包括创建工作空间目录、新建配置文件以及提交workflow的步骤。REST提交更通用，需注意配置文件中的参数设置要与MR程序一致。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

命令行方式

最常用的就是通过命令行方式提交，见YARN和HDFS的调用方式汇总中的“使用oozie提交yarn作业环节。

REST方式

使用REST的方式显然更通用，当然原理与上述完全一致。

步骤1–创建工作空间目录

首先在HDFS上创建相应工作空间目录–/user/${user.name}/workspaces，放置oozie要用到的workflow.xml，并创建lib文件夹，里面放置打好的jar包，如下图。注：我这里的user.name变量的值是“hdfs”。

完整的workflow文件如下，里面变量${inputDir}、${outputDir}等的值需要从下一步骤产生的config.xml文件中获取。

特别注意：此处应该把原MR程序中所有的作业设置参数都拿过来，否则即使作业提交成功，结果也不正确！！！

<workflow-app name="test-wordcount" xmlns="uri:oozie:workflow:0.4">
    <start to="test-wordcount"/>
    <action name="test-wordcount">
        <map-reduce>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapreduce.input.fileinputformat.inputdir</name>
                    <value>${inputDir}</value>
                </property>
                <property>
                    <name>mapreduce.output.fileoutputformat.outputdir</

最低0.47元/天解锁文章