oozie任务暂停重跑及后台配置oozie任务

原创已于 2022-11-10 13:39:38 修改 · 597 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

于 2022-11-10 13:22:31 首次发布

oozie 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了如何使用oozie控制大数据任务的执行。包括如何挂起任务，待关联任务完成后恢复任务，以及如何重跑指定任务批次。同时详细说明了在后台配置oozie任务的步骤，如编辑workflow.xml、job.properties和coordinator.xml文件，上传到HDFS，并使用oozie job命令进行预检和运行。

一、想要实现对即将运行的oozie任务暂停，先运行完关联任务，再运行这个任务。我们可以用挂起任务、恢复挂起的方式来实现。如果恢复时任务已经超过定制运行时间，可以rerun任务。

1、挂起任务

oozie job -oozie http://域名:11000/oozie -suspend job_id

2、恢复挂起的任务

oozie job -oozie http://域名:11000/oozie -resume job_id

3、重跑任务

oozie job -oozie http://域名:11000/oozie -rerun job_id action 2

通过rerun命令可以重跑任务的某一个批次。任务中的参数如果是系统变量，那跑的任务就是当次的。

所以，在没有配置本地oozie任务的时候，可以用这种方式暂停任务的运行。

二、后台配置oozie任务

1、需要手工配置workflow.xml/job.properties/coordinator.xml、上传hdfs、且本地要有这些配置文件。本地创建这几个配置文件：

job.properties内容，其他两个可以用job.properties中的变量传参

nameNode=hdfs://nameservice1
jobTracker=cdhtest02:8032
queueName=mapreduce.job.queuename
examplesRoot=JOB_pesd_drp033t0
oozie.coord.application.path=${nameNode}/opt/agbi/JOB_pesd_drp033t0/coordinator.xml
start=2022-11-10T00:00+0800
end=2030-01-01T00:00+0800
EXEC=/opt/agbi/impexp/脚本
workflowAppUri=${nameNode}/user/hue/oozie/workspaces/hue-oozie-1667280691.11

coordinator.xml内容：

<!--
	oozie的frequency 可以支持很多表达式，其中可以通过定时每分，或者每小时，或者每天，或者每月进行执行，也支持可以通过与linux的crontab表达式类似的写法来进行定时任务的执行
	例如frequency 也可以写成以下方式
	frequency="10 9 * * *"  每天上午的09:10:00开始执行任务
	frequency="0 1 * * *"  每天凌晨的01:00开始执行任务
 -->
<coordinator-app name="${examplesRoot}" frequency="${frequency}" start="${start}" end="${end}" timezone="GMT+0800"
                 xmlns="uri:oozie:coordinator:0.2">
        <action>
        <workflow>
            <app-path>${workflowAppUri}</app-path>
            <configuration>
                <property>
                    <name>jobTracker</name>
                    <value>${jobTracker}</value>
                </property>
                <property>
                    <name>nameNode</name>
                    <value>${nameNode}</value>
                </property>
                <property>
                    <name>queueName</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
        </workflow>
    </action>
</coordinator-app>

workflow.xml内容：

<workflow-app xmlns="uri:oozie:workflow:0.5" name="one-op-wf">
    <start to="action1"/>
    <action name="action1">
    <shell xmlns="uri:oozie:shell-action:0.2">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <configuration>
            <property>
                <name>mapred.job.queue.name</name>
                <value>${queueName}</value>
            </property>
        </configuration>
        <exec>${EXEC}</exec>
        <!-- <argument>my_output=Hello Oozie</argument> -->
<!--        <file>/user/root/oozie_works/cron-job/${EXEC}#${EXEC}</file>-->
        <file>${EXEC}#${EXEC}</file>
        <capture-output/>
    </shell>
    <ok to="end"/>
    <error to="end"/>
</action>
    <end name="end"/>
</workflow-app>

三个文件都上传到hdfs：

hdfs dfs -put /opt/agbi/JOB_pesd_drp033t0/job.properties /opt/agbi/JOB_pesd_drp033t0/

oozie job -config ./job.properties -dryrun # 预检配置是否正确

2、-run命令会按配置产生新的job

oozie job -run 命令

oozie job -config ./job.properties -config /opt/agbi/JOB_pesd_drp033t0/job.properties -run

3、job.properties中设置的开始时间start要设置为当前时间，否则会按定制时间跑wf