oozie 中添加 shell action

最新推荐文章于 2021-07-15 09:32:46 发布

timchen525

最新推荐文章于 2021-07-15 09:32:46 发布

阅读量2.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据

本文链接：https://blog.youkuaiyun.com/timchen525/article/details/77122643

大数据专栏收录该内容

1 篇文章

订阅专栏

本文介绍如何在Oozie的工作流配置文件workflow.xml中添加并执行Shell脚本。首先需要在job.properties文件中指定脚本名称，然后编辑workflow.xml文件配置Shell Action节点，包括设置执行命令、脚本路径等。最后将这些文件上传到HDFS，并通过Oozie客户端启动作业。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题：如何在workflow.xml中添加shell脚本？

1、在job.properties中添加要执行的脚本的名字：

2、脚本tim.sh的输入内容为：

#!/bin/bash
curl http://114.55.28.121

3、编辑workflow.xml的内容如下：

<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
    <start to="shell-node"/>
    <action name="shell-node">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            <exec>${statEndNoticeShell}</exec>
            <argument></argument>
            <file>${statEndNoticeShell}</file>
            <capture-output/>
        </shell>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

其中：<exec>脚本名</exex>是执行脚本的命令， <file>脚本的具体位置</file>存放脚本的位置，从项目的根目录算起。

4、将修改的workflow.xml和 tim.sh 文件上传到hdfs 上，这里我们上传目录为：

oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce

5、执行调度命令：

oozie job -ooziehttp://ssp-hadoop-01:11000/oozie -config job.properties -run

补充知识点：

job.properties是在本地服务器上，而workflow.xml文件和 tim.sh要上传到hdfs上。

由于执行shell命令的过程我们无法得知，这里通过curl去调用某一台Linux 服务器，此时我们可以利用tcpdump 命令监控这台Linux 服务器是否被调用。具体的命令为：

sudo tcpdump -i eth1 port 80 and host 114.55.92.41