oozie任务暂停重跑及后台配置oozie任务

本文介绍了如何使用oozie控制大数据任务的执行。包括如何挂起任务,待关联任务完成后恢复任务,以及如何重跑指定任务批次。同时详细说明了在后台配置oozie任务的步骤,如编辑workflow.xml、job.properties和coordinator.xml文件,上传到HDFS,并使用oozie job命令进行预检和运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、想要实现对即将运行的oozie任务暂停,先运行完关联任务,再运行这个任务。我们可以用挂起任务、恢复挂起的方式来实现。如果恢复时任务已经超过定制运行时间,可以rerun任务。

1、挂起任务

oozie job -oozie http://域名:11000/oozie -suspend job_id

2、恢复挂起的任务

oozie job -oozie http://域名:11000/oozie -resume job_id

3、重跑任务

oozie job -oozie http://域名:11000/oozie -rerun job_id action 2

通过rerun命令可以重跑任务的某一个批次。任务中的参数如果是系统变量,那跑的任务就是当次的。

所以,在没有配置本地oozie任务的时候,可以用这种方式暂停任务的运行。

二、后台配置oozie任务

1、需要手工配置workflow.xml/job.properties/coordinator.xml、上传hdfs、且本地要有这些配置文件。本地创建这几个配置文件:

job.properties内容,其他两个可以用job.properties中的变量传参

nameNode=hdfs://nameservice1
jobTracker=cdhtest02:8032
queueName=mapreduce.job.queuename
examplesRoot=JOB_pesd_drp033t0
oozie.coord.application.path=${nameNode}/opt/agbi/JOB_pesd_drp033t0/coordinator.xml
start=2022-11-10T00:00+0800
end=2030-01-01T00:00+0800
EXEC=/opt/agbi/impexp/脚本
workflowAppUri=${nameNode}/user/hue/oozie/workspaces/hue-oozie
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值