oozie 工作流程详解

最新推荐文章于 2025-03-13 21:00:00 发布
转载 最新推荐文章于 2025-03-13 21:00:00 发布 · 1.8k 阅读 · 1

简单之美

简单之美，难得简单，享受简单的唯美。

Main menu

Oozie工作流程定义详解

2014-03-04 19:21:02    Yanjun

Oozie工作流程定义是一个DAG（Directed Acyclical Graphs）图，它由控制流节点（Control Flow Nodes）或动作节点（Action Nodes）组成，各个节点又是通过表征转移的箭线（transitions
arrows）互相连通。对于工作流一般对应存在流程定义语言，例如jBPM是jPDL，大多数都是基于XML定义的，Oozie流程定义语言也是基于XML定义的，称为hPDL（Hadoop Process Definition Language）。
下面，我们详细说明工作流定义相关的内容：

工作流生命周期

在Oozie中，工作流的状态可能存在如下几种：

状态 含义说明
PREP一个工作流Job第一次创建将处于PREP状态，表示工作流Job已经定义，但是没有运行。
RUNNING当一个已经被创建的工作流Job开始执行的时候，就处于RUNNING状态。它不会达到结束状态，只能因为出错而结束，或者被挂起。
SUSPENDED一个RUNNING状态的工作流Job会变成SUSPENDED状态，而且它会一直处于该状态，除非这个工作流Job被重新开始执行或者被杀死。
SUCCEEDED当一个RUNNING状态的工作流Job到达了end节点，它就变成了SUCCEEDED最终完成状态。
KILLED当一个工作流Job处于被创建后的状态，或者处于RUNNING、SUSPENDED状态时，被杀死，则工作流Job的状态变为KILLED状态。
FAILED当一个工作流Job不可预期的错误失败而终止，就会变成FAILED状态。

上述各种状态存在相应的转移（工作流程因为某些事件，可能从一个状态跳转到另一个状态），其中合法的状态转移有如下几种，如下表所示：

转移前状态 转移后状态集合
未启动PREP
PREPRUNNING、KILLED
RUNNINGSUSPENDED、SUCCEEDED、KILLED、FAILED
SUSPENDEDRUNNING、KILLED

明确上述给出的状态转移空间以后，可以根据实际需要更加灵活地来控制工作流Job的运行。

控制流节点（Control Flow Nodes）

工作流程定义中，控制工作流的开始和结束，以及工作流Job的执行路径的节点，它定义了流程的开始（start节点）和结束（end节点或kill节点），同时提供了一种控制流程执行路径的机制（decision决策节点、fork分支节点、join会签节点）。通过上面提到的各种节点，我们大概应该能够知道它们在工作流中起着怎样的作用。下面，我们看一下不同节点的语法格式：

  • start节点
    查看源代码
    打印 帮助
    1<workflow-appname="[WF-DEF-NAME]"xmlns="uri:oozie:workflow:0.1">
    2    ...
    3    <startto="[NODE-NAME]"/>
    4    ...
    5</workflow-app>

    上面start元素的to属性，指向第一个将要执行的工作流节点。

  • end节点
    查看源代码
    打印 帮助
    1<workflow-appname="[WF-DEF-NAME]"xmlns="uri:oozie:workflow:0.1">
    2    ...
    3    <endname="[NODE-NAME]"/>
    4    ...
    5</workflow-app>

    达到该节点，工作流Job会变成SUCCEEDED状态，表示成功完成。需要注意的是，一个工作流定义必须只能有一个end节点。

  • kill节点
    查看源代码
    打印 帮助
    1<workflow-appname="[WF-DEF-NAME]"xmlns="uri:oozie:workflow:0.1">
    2    ...
    3    <killname="[NODE-NAME]">
    4        <message>[MESSAGE-TO-LOG]</message>
    5    </kill>
    6    ...
    7</workflow-app>

    kill元素的name属性，是要杀死的工作流节点的名称，message元素指定了工作流节点被杀死的备注信息。达到该节点，工作流Job会变成状态KILLED。

  • decision节点
    查看源代码
    打印 帮助
    01<workflow-appname="[WF-DEF-NAME]"xmlns="uri:oozie:workflow:0.1">
    02    ...
    03    <decisionname="[NODE-NAME]">
    04        <switch>
    05            <caseto="[NODE_NAME]">[PREDICATE]</case>
    06            ...
    07            <caseto="[NODE_NAME]">[PREDICATE]</case>
    08            <defaultto="[NODE_NAME]"/>
    09        </switch>
    10    </decision>
    11    ...
    12</workflow-app>

    decision节点通过预定义一组条件，当工作流Job执行到该节点时，会根据其中的条件进行判断选择，满足条件的路径将被执行。decision节点通过switch…case语法来进行路径选择，只要有满足条件的判断，就会执行对应的路径，如果没有可以配置default元素指向的节点。

  • fork节点和join节点
    查看源代码
    打印 帮助
    01<workflow-appname="[WF-DEF-NAME]"xmlns="uri:oozie:workflow:0.1">
    02    ...
    03    <forkname="[FORK-NODE-NAME]">
    04        <pathstart="[NODE-NAME]"/>
    05        ...
    06        <pathstart="[NODE-NAME]"/>
    07    </fork>
    08    ...
    09    <joinname="[JOIN-NODE-NAME]"to="[NODE-NAME]"/>
    10    ...
    11</workflow-app>

    for元素下面会有多个path元素，指定了可以并发执行的多个执行路径。fork中多个并发执行路径会在join节点的位置会合，只有所有的路径都到达后，才会继续执行join节点。

动作节点（Action Nodes）

工作流程定义中，能够触发一个计算任务（Computation Task）或者处理任务（Processing Task）执行的节点。所有的动作（
Action）都有一些基本的特性，我先首先来看一下：

  • 远程执行

    对Oozie来说，动作节点的执行都是远程的，因为Oozie可能部署在一个单独的服务器上，而工作流Job是在Hadoop集群的节点上执行的。即使Oozie在Hadoop集群的某个节点上，它也是处于与Hadoop进行独立无关的JVM示例之中（Oozie部署在Servlet容器当中）。

  • 异步性

    动作节点的执行，对于Oozie来说是异步的。Oozie启动一个工作流Job，这个工作流Job便开始执行。Oozie可以通过两种方式来探测工作流Job的执行情况：一种是基于回调机制，对每个任务的执行（可以看成是动作节点的执行）都对应一个唯一的URL，如果任务执行结束或者执行失败，会通过回调这个URL通知Oozie已经完成；另一种就是轮询，Oozie不停地去查询任务执行的完成状态，如果由于网络故障回调机制失败，也会使用轮询的方式来处理。

  • 执行结果要么成功，要么失败

    如果动作节点执行成功，则会转向ok节点；如果失败则会转向error节点。

  • 可恢复性

    如果一个动作节点执行失败，Oozie提供了一些恢复执行的策略，这个要根据失败的特点来进行：如果是状态转移过程中失败，Oozie会根据指定的重试时间间隔去重新执行；如果不是转移性质的失败，则只能通过手工干预来进行恢复；如果重试恢复执行都没有解决问题，则最终会跳转到error节点。

下面详细介绍Oozie内置支持的动作节点类型，如下所示：

  • Map-Reduce动作

map-reduce动作会在工作流Job中启动一个MapReduce Job任务运行，我们可以详细配置这个MapReduce Job。另外，可以通过map-reduce元素的子元素来配置一些其他的任务，如streaming、pipes、file、archive等等。
下面给出包含这些内容的语法格式说明：

查看源代码
打印 帮助
01<workflow-appname="[WF-DEF-NAME]"xmlns="uri:oozie:workflow:0.1">
02    ...
03    <actionname="[NODE-NAME]">
04        <map-reduce>
05            <job-tracker>[JOB-TRACKER]</job-tracker>
06            <name-node>[NAME-NODE]</name-node>
07            <prepare>
08                <deletepath="[PATH]"/>
09                ...
10                <mkdirpath="[PATH]"/>
11                ...
12            </prepare>
13            <streaming>
14                <mapper>[MAPPER-PROCESS]</mapper>
15                <reducer>[REDUCER-PROCESS]</reducer>
16                <record-reader>[RECORD-READER-CLASS]</record-reader>
17                <record-reader-mapping>[NAME=VALUE]</record-reader-mapping>
18                ...
19                <env>[NAME=VALUE]</env>
20                ...
21            </streaming>
22            <!-- Either streaming or pipes can be specified for an action, not both -->
23            <pipes>
24                <map>[MAPPER]</map>
25                <reduce>
26                    [REDUCER]
27                </reducer>
28                    <inputformat>[INPUTFORMAT]</inputformat>
29                    <partitioner>[PARTITIONER]</partitioner>
30                    <writer>[OUTPUTFORMAT]</writer>
31                    <program>[EXECUTABLE]</program>
32            </pipes>
33            <job-xml>[JOB-XML-FILE]</job-xml>
34            <configuration>
35                <property>
36                    <name>[PROPERTY-NAME]</name>
37                    <value>[PROPERTY-VALUE]</value>
38                </property>
39                ...
40            </configuration>
41            <file>[FILE-PATH]</file>
42            ...
43            <archive>[FILE-PATH]</archive>
44            ...
45        </map-reduce>
46        <okto="[NODE-NAME]"/>
47        <errorto="[NODE-NAME]"/>
48    </action>
49    ...
50</workflow-app>
  • Hive动作

Hive主要是基于类似SQL的HQL语言的，它能够方便地操作HDFS中数据，实现对海量数据的分析工作。HIve动作的语法格式如下所示：

查看源代码
打印 帮助
01<workflow-appname="[WF-DEF-NAME]"xmlns="uri:oozie:workflow:0.2">
02    ...
03    <actionname="[NODE-NAME]">
04        <hivexmlns="uri:oozie:hive-action:0.2">
05            <job-tracker>[JOB-TRACKER]</job-tracker>
06            <name-node>[NAME-NODE]</name-node>
07            <prepare>
08                <deletepath="[PATH]"/>
09                ...
10                <mkdirpath="[PATH]"/>
11                ...
12            </prepare>
13            <configuration>
14                <property>
15                    <name>[PROPERTY-NAME]</name>
16                    <value>[PROPERTY-VALUE]</value>
17                </property>
18                ...
19            </configuration>
20            <script>[HIVE-SCRIPT]</script>
21            <param>[PARAM-VALUE]</param>
22            ...
23        </hive>
24        <okto="[NODE-NAME]"/>
25        <errorto="[NODE-NAME]"/>
26    </action>
27    ...
28</workflow-app>
  • Sqoop动作

Sqoop是一个能够在Hadoop和结构化存储系统之间进行数据的导入导出的工具，Sqoop动作的语法格式如下：

查看源代码
打印 帮助
01<workflow-appname="[WF-DEF-NAME]"xmlns="uri:oozie:workflow:0.2">
02    ...
03    <actionname="[NODE-NAME]">
04        <sqoopxmlns="uri:oozie:sqoop-action:0.2">
05            <job-tracker>[JOB-TRACKER]</job-tracker>
06            <name-node>[NAME-NODE]</name-node>
07            <prepare>
08                <deletepath="[PATH]"/>
09                ...
10                <mkdirpath="[PATH]"/>
11                ...
12            </prepare>
13            <configuration>
14                <property>
15                    <name>[PROPERTY-NAME]</name>
16                    <value>[PROPERTY-VALUE]</value>
17                </property>
18                ...
19            </configuration>
20            <command>[SQOOP-COMMAND]</command>
21            <file>[FILE-PATH]</file>
22            ...
23        </sqoop>
24        <okto="[NODE-NAME]"/>
25        <errorto="[NODE-NAME]"/>
26    </action>
27    ...
28</workflow-app>
  • Pig动作

pig动作可以启动运行pig脚本实现的Job，在工作流定义中配置的语法格式说明如下：

查看源代码
打印 帮助
01<workflow-appname="[WF-DEF-NAME]"xmlns="uri:oozie:workflow:0.2">
02    ...
03    <actionname="[NODE-NAME]">
04        <pig>
05            <job-tracker>[JOB-TRACKER]</job-tracker>
06            <name-node>[NAME-NODE]</name-node>
07            <prepare>
08                <deletepath="[PATH]"/>
09                ...
10                <mkdirpath="[PATH]"/>
11                ...
12            </prepare>
13            <job-xml>[JOB-XML-FILE]</job-xml>
14            <configuration>
15                <property>
16                    <name>[PROPERTY-NAME]</name>
17                    <value>[PROPERTY-VALUE]</value>
18                </property>
19                ...
20            </configuration>
21            <script>[PIG-SCRIPT]</script>
22            <param>[PARAM-VALUE]</param>
23            ...
24            <param>[PARAM-VALUE]</param>
25            <argument>[ARGUMENT-VALUE]</argument>
26            ...
27            <argument>[ARGUMENT-VALUE]</argument>
28            <file>[FILE-PATH]</file>
29            ...
30            <archive>[FILE-PATH]</archive>
31            ...
32        </pig>
33        <okto="[NODE-NAME]"/>
34        <errorto="[NODE-NAME]"/>
35    </action>
36    ...
37</workflow-app>
  • Fs动作

Fs动作主要是基于HDFS的一些基本操作，如删除路径、创建路径、移动文件、设置文件全乡等等。
语法格式：

查看源代码
打印 帮助
01<workflow-appname="[WF-DEF-NAME]"xmlns="uri:oozie:workflow:0.1">
02    ...
03    <actionname="[NODE-NAME]">
04        <fs>
05            <deletepath='[PATH]'/>
06            ...
07            <mkdirpath='[PATH]'/>
08            ...
09            <movesource='[SOURCE-PATH]'target='[TARGET-PATH]'/>
10            ...
11            <chmodpath='[PATH]'permissions='[PERMISSIONS]'dir-files='false'/>
12            ...
13            <touchzpath='[PATH]'/>
14        </fs>
15        <okto="[NODE-NAME]"/>
16        <errorto="[NODE-NAME]"/>
17    </action>
18    ...
19</workflow-app>
  • SSH动作

该动作主要是通过ssh登录到一台主机，能够执行一组shell命令，它在Oozie schema 0.2中已经被删除。
语法格式：

查看源代码
打印 帮助
01<workflow-appname="[WF-DEF-NAME]"xmlns="uri:oozie:workflow:0.1">
02    ...
03    <actionname="[NODE-NAME]">
04        <ssh>
05            <host>[USER]@[HOST]</host>
06            <command>[SHELL]</command>
07            <args>[ARGUMENTS]</args>
08            ...
09            <capture-output/>
10        </ssh>
11        <okto="[NODE-NAME]"/>
12        <errorto="[NODE-NAME]"/>
13    </action>
14    ...
15</workflow-app>
  • Java动作

Java动作，是执行一个具有main入口方法的应用程序，在Oozie工作流定义中，会作为一个MapReduce Job执行，这个Job只有一个Map任务。我们需要指定NameNode、JobTracker的信息，还有配置一个Java应用程序的JVM选项参数（java-opts），以及传给主函数（arg）。
语法格式：

查看源代码
打印 帮助
01<workflow-appname="[WF-DEF-NAME]"xmlns="uri:oozie:workflow:0.1">
02    ...
03    <actionname="[NODE-NAME]">
04        <java>
05            <job-tracker>[JOB-TRACKER]</job-tracker>
06            <name-node>[NAME-NODE]</name-node>
07            <prepare>
08                <deletepath="[PATH]"/>
09                ...
10                <mkdirpath="[PATH]"/>
11                ...
12            </prepare>
13            <job-xml>[JOB-XML]</job-xml>
14            <configuration>
15                <property>
16                    <name>[PROPERTY-NAME]</name>
17                    <value>[PROPERTY-VALUE]</value>
18                </property>
19                ...
20            </configuration>
21            <main-class>[MAIN-CLASS]</main-class>
22            <java-opts>[JAVA-STARTUP-OPTS]</java-opts>
23            <arg>ARGUMENT</arg>
24            ...
25            <file>[FILE-PATH]</file>
26            ...
27            <archive>[FILE-PATH]</archive>
28            ...
29            <capture-output/>
30        </java>
31        <okto="[NODE-NAME]"/>
32        <errorto="[NODE-NAME]"/>
33    </action>
34    ...
35</workflow-app>
  • Sub-workflow动作

Sub-workflow动作是一个子流程的动作，主流程执行过程中，遇到子流程节点执行时，会一直等待子流程节点执行完成后，才能继续跳转到下一个要执行的节点。
语法格式：

查看源代码
打印 帮助
01<workflow-appname="[WF-DEF-NAME]"xmlns="uri:oozie:workflow:0.1">
02    ...
03    <actionname="[NODE-NAME]">
04        <sub-workflow>
05            <app-path>[WF-APPLICATION-PATH]</app-path>
06            <propagate-configuration/>
07            <configuration>
08                <property>
09                    <name>[PROPERTY-NAME]</name>
10                    <value>[PROPERTY-VALUE]</value>
11                </property>
12                ...
13            </configuration>
14        </sub-workflow>
15        <okto="[NODE-NAME]"/>
16        <errorto="[NODE-NAME]"/>
17    </action>
18    ...
19</workflow-app>
  • Shell动作

Shell动作可以执行Shell命令，并通过配置命令所需要的参数。它的语法格式：

查看源代码
打印 帮助
01<workflow-appname="[WF-DEF-NAME]"xmlns="uri:oozie:workflow:0.4">
02    ...
03    <actionname="[NODE-NAME]">
04        <shellxmlns="uri:oozie:shell-action:0.2">
05            <job-tracker>[JOB-TRACKER]</job-tracker>
06            <name-node>[NAME-NODE]</name-node>
07            <prepare>
08                <deletepath="[PATH]"/>
09                ...
10                <mkdirpath="[PATH]"/>
11                ...
12            </prepare>
13            <configuration>
14                <property>
15                    <name>[PROPERTY-NAME]</name>
16                    <value>[PROPERTY-VALUE]</value>
17                </property>
18                ...
19            </configuration>
20            <exec>[SHELL-COMMAND]</exec>
21            <argument>[ARGUMENT-VALUE]</argument>
22            <capture-output/>
23        </shell>
24        <okto="[NODE-NAME]"/>
25        <errorto="[NODE-NAME]"/>
26    </action>
27    ...
28</workflow-app>

表达式语言函数（Expression Language Functions）

Oozie除了可以使用Properties文件定义一些属性之外，还提供了一些内置的EL函数，能够方便地实现流程的定义和控制，下面我们分组列表说明：

  • 基本EL常量
常量名称 含义说明
KB1KB，类型为long。
MB1MB，类型为long。
GB1GB，类型为long。
TB1TB，类型为long。
PB1PB，类型为long。
  • 基本EL函数
函数声明 含义说明
String firstNotNull(String value1, String value2)返回value1和value2中不为null的值，若都为null则返回null
String concat(String s1, String s2)连接字符串s1和s2，如果s1或s2为null值，则使用空字符串替换null值
String replaceAll(String src, String regex, String replacement)满足正则表达式regex，则使用replace替换src字符串中匹配上的部分
String appendAll(String src, String append, String delimeter)将src中的分隔符delimeter替换为append
String trim(String s)去掉字符串两边的空格，如果s为null则返回空字符串
String urlEncode(String s)对字符串s使用URL UTF-8进行编码
String timestamp()返回UTC当前时间字符串，格式为YYYY-MM-DDThh:mm:ss.sZ
String toJsonStr(Map)Oozie 3.3支持，将Map转转成一个XML编码的JSON表示形式
String toPropertiesStr(Map)Oozie 3.3支持，将Map转转成一个XML编码的Properties表示形式
String toConfigurationStr(Map)Oozie 3.3支持，将Map转转成一个XML编码的Configuration表示形式
  • 工作流EL函数
函数声明 含义说明
String wf:id()返回当前的工作流Job的ID
String wf:name()返回当前的工作流Job的名称
String wf:appPath()返回当前的工作流Job的应用路径
String wf:conf(String name)返回当前的工作流Job的配置属性
String wf:user()返回启动当前的工作流Job的用户名称
String wf:group()返回当前的工作流Job的的用户组名称
String wf:callback(String stateVar)返回当前的工作流Job的当前动作节点的回调URL
String wf:transition(String node)返回转移节点，该节点是一个工作流动作节点触发的
String wf:lastErrorNode()返回最后一个以ERROR状态退出的节点名称
String wf:errorCode(String node)返回指定动作节点执行的错误码，如果没有则返回空
String wf:errorMessage(String message)返回指定动作节点执行的错误信息，如果没有则返回空
int wf:run()返回当前工作流Job的运行编号，正常的话返回0，如果执行过re-run则返回非0
Map wf:actionData(String node)返回当前动作节点完成时输出的信息
int wf:actionExternalId(String node)返回动作节点的外部ID
int wf:actionTrackerUri(String node)返回跟踪一个动作节点的URI
int wf:actionExternalStatus(String node)返回一个动作节点的状态
  • Hadoop EL常量
常量名称 含义说明
RECORDSHadoop Record计数器组名称
MAP_INHadoop Mapper输入Record计数器名称
MAP_OUTHadoop Mapper输出Record计数器名称
REDUCE_INHadoop Reducer输入Record计数器名称
REDUCE_OUTHadoopReducer输出Record计数器名称
GROUPS1024 * Hadoop Mapper/Reducer输入Record组计数器名称
  • Hadoop EL函数
函数声明 含义说明
Map < String, Map  > hadoop:counters(String node)返回工作流Job某个动作节点的统计计数器信息，例如，MR的动作统计集合内容：
{
“ACTION_TYPE”: “MAP_REDUCE”,
“org.apache.hadoop.mapred.JobInProgress$Counter”: {
“TOTAL_LAUNCHED_REDUCES”: 1,
“TOTAL_LAUNCHED_MAPS”: 1,
“DATA_LOCAL_MAPS”: 1
},
“FileSystemCounters”: {
“FILE_BYTES_READ”: 1746,
“HDFS_BYTES_READ”: 1409,
“FILE_BYTES_WRITTEN”: 3524,
“HDFS_BYTES_WRITTEN”: 1547
},
“org.apache.hadoop.mapred.Task$Counter”: {
“REDUCE_INPUT_GROUPS”: 33,
“COMBINE_OUTPUT_RECORDS”: 0,
“MAP_INPUT_RECORDS”: 33,
“REDUCE_SHUFFLE_BYTES”: 0,
“REDUCE_OUTPUT_RECORDS”: 33,
“SPILLED_RECORDS”: 66,
“MAP_OUTPUT_BYTES”: 1674,
“MAP_INPUT_BYTES”: 1409,
“MAP_OUTPUT_RECORDS”: 33,
“COMBINE_INPUT_RECORDS”: 0,
“REDUCE_INPUT_RECORDS”: 33
}
}
则${hadoop:counters(“mr-node”)["FileSystemCounters"]["FILE_BYTES_READ"]}，得到名称为mr-node的动作节点组的FILE_BYTES_READ计数器的值
  • HDFS EL函数
选项 含义说明
boolean fs:exists(String path)path是否存在
boolean fs:isDir(String path)path是否是目录
long fs:dirSize(String path)如果path不是目录或者path是一个文件，则返回-1，否则返回该path下所有文件的字节数
long fs:fileSize(String path)如果path是目录，则返回-1，否则返回该path下所有文件的字节数
long fs:blockSize(String path)如果path不是文件或者不存在则返回-1，否则返回文件的块大小字节数

 

Oozie工作流调度原理与代码实例讲解
AI天才研究院
06-12 768
Oozie工作流调度原理与代码实例讲解 1.背景介绍 在大数据处理和分析领域，工作流调度是一个至关重要的环节。Apache Oozie 是一个用于管理 Hadoop 作业的工作流调度系统。它允许用户定义一系列的作业，并按照预定的顺序和依赖关系执行这些作业。Oozie 支持多种类型的作业
OOZIE 配置和调度流程(1).doc
06-27
OOZIE 配置和调度流程(1).doc
Oozie工作流程定义详解
qq_16629653的专栏
01-08 580
Oozie工作流程定义详解  2014-03-04 19:21:02  Yanjun Oozie工作流程定义是一个DAG（Directed Acyclical Graphs）图，它由控制流节点（Control Flow Nodes）或动作节点（Action Nodes）组成，各个节点又是通过表征转移的箭线（transitions arrows）互相连通。对于工作流一般对应存在流程
oozie 完整流程实例
weixin_30420305的博客
09-04 572
Oozie概述： 　　Oozie是一个基于Hadoop工作流引擎,也可以称为调度器,它以xml的形式写调度流程，可以调度mr，pig，hive，shell，jar，spark等等。在实际工作中，遇到对数据进行一连串的操作的时候很实用，不需要自己写一些处理代码了，只需要定义好各个action，然后把他们串在一个工作流里面就可以自动执行了。对于大数据的分析工作非常有用. Oozie有几个主要概念...
全流程调度-Oozie的介绍和使用
迷雾总会解
06-13 3074
workflow 是一组 actions 集合（例如Hadoop map/reduce作业，pig作业），它被安排在一个控制依赖项DAG（Direct Acyclic Graph）中。“控制依赖”从一个action到另一个action意味着第二个action不能运行，直到第一个action完成。Oozie Workflow 定义是用 hPDL 编写的（类似于JBOSS JBPM jPDL的XML过程定义语言）。Oozie Workflow actions 在远程系统（如Hadoop、Pig）中启动工作。
oozie-工作流定义
bigdata
05-16 193
工作流定义由控制节点及动作节点组成,控制节点包括start、end、decision、fork、join、kill,动作节点包括map-reduce、pig、hive等 工作流定义语言是基于XML的，叫hPDL(Hadoop Process Definition Language) Oozie 不支持循环定义工作流，在部署阶段会检测循环定义动作,如检测到，Oozie不会提交此工作流...
Oozie工作流程详解与示例
Oozie的工作流程由一系列动作和控制节点组成，这些节点定义了作业的执行顺序和条件逻辑。 ## 1.2 Oozie的作用和应用场景 Oozie可以用于管理和调度Hadoop生态系统中的各种作业，例如MapReduce作业、Pig作业、Hive...
Apache Oozie架构及工作流程模型
何以问_的博客
08-12 1019
Apache Oozie架构及工作流程模型 一 Oozie概述 1 Oozie是什么 Hadoop的工作流运行引擎和调度程序 MapReduce作业 Spark（Streaming）作业 Hive 作业 Apache顶级项目 打包主要在Hadoop发行版中 http://oozie.apache.org/docs/4.2.0/index.htm 提供工作流管理与协调器 管理Actions的有向无环图（DAG） 2 Oozie架构 运行HTTP服务 Clients通过提交workflow
精选资源
oozie介绍及使用详解
02-10
Oozie节点是工作流中的基本单元，每个节点代表一个特定的动作或者控制流程。例如： - **Action Node**：执行实际任务，如MapReduce Job Node、Pig Action Node、Hive Action Node等。 - **Control Node**：控制流程...
工作流oozie文档
12-12
华为云,应用的开源工作流调度管理,介绍的还是比较详细的.
胎教级教程：万字长文手把手教你用Coze打造企业级知识库
2401_84204413的博客
07-12 6036
Agent，我们一般将其翻译为代理人代理商等。在人工智能领域，Agent 通常被定义为一种具有感知能力的实体，它能够通过对其所处环境的观察来做出相应的决策和反应。这种 Agent 既可以是软件形式的程序，例如对话机器人，也可以具备物理形态，比如扫地机器人在了解 AI Agent 之前，我们先考虑一个场景：我们要写一本 20 万字的关于人工智能最新技术的书在没有大模型之前，我们一般会按照如下流程第一步：先使用搜索引擎搜索一些相关书籍和信息进行阅读，为我们打开思路。
coze功能详解！AI保姆级入门教程！
youmaob的博客
01-04 2万+
本地文档包含三种：1、文本格式：word, pdf, txt2、表格格式：excel, csv3、照片类型以上传本地文档为例，上传后，选择自动分段与清洗，coze会自动对数据进行处理上传后，我们在bot或工作流中，就能使用该知识库。
工作流搭建文字指南（Coze）
最新发布
qq_74248184的博客
03-13 5512
记录关于工作流的一些知识与Coze的介绍
TensorFlow相关组件的安装
AAI666666的博客
01-11 3020
TensorFlow相关组件的安装
工作流调度系统Apache DolphinScheduler介绍和设计原理
热门推荐
Baron_ND的博客
09-02 3万+
1 概述 Apache DolphinScheduler（目前处在孵化阶段）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 DolphinScheduler是今年（2019年）中国易观公司开源的一个调度系统，在今年美国时间2019年8月29号，易观开源的分布式任务调度引擎DolphinScheduler（原EasyScheduler）正式通过顶级开源组织Apache基金会的投票决议，根据Apache基金会
工作流的基本概念
zl198183的专栏
11-24 1203
导读：　　1993年工作流管理联盟的成立标志着工作流技术开始进入相对成熟的阶段。为了实现不同工作流产品之间的互操作，WFMC在工作流管理系统的相关术语、体系结构及应用编程接口（WAPI）等方面制定了一系列标准[20]。　　不同的研究者和工作流产品供应商从不同的角度给出了工作流的定义。　　工作流管理联盟给出的工作流定义是[1]:工作流是一类能够完全或者部分自动执行的经营过程，它根据一系
[理解总结+实战]oozie的使用
MyNameIsWangYi的博客
09-02 972
oozie实践背景：1.知识点：1.1.简介1.2.特点1.3.架构1.4.Oozie的部署与搭建1.5.客户端常用命令1.6.关于配置文件中的*参数*1.6.1.job.properties1.6.2.workflow.xml2.实战中的总结2.1.hue界面中bundle、schedule、workflow的关系2.2.关于时区2.2.1.Oozie定时任务/循环任务2.3.Flink整合Oozie Shell Action 提交任务带Kerberos认证2.4.修改oozie的配置更改时区 背景： 最
Oozie教程（1）——实现你自己的Hadoop/Spark作业工作流
g11d111的博客
07-06 1万+
前言Oozie是什么呢？按官方说法：Oozie是一个基于工作流引擎的服务器，其中每个工作流的任务可以是Hadoop的Map/Reduce作业或者Pig作业等。Oozie是运行于Java servlet容器上的一个java web应用。Oozie的目的是按照DAG（有向无环图）调度一系列的Map/Reduce或者Pig任务。Oozie 工作流由hPDL（Hadoop Process Definitio
oozie 用法说明
learner_up的博客
01-14 1227
本博客一共包含ooize workflow流程写法，job.properties 文件配置，ooize 任务的启动与杀死。 oozie 流程定义： 1.workflow 的开始和workflow 的命名 &lt;workflow-app xmlns="uri:oozie:workflow:0.2" name="adx-wf"&gt; &lt;start to="adx_clean_fork...
华为云Oozie工作流调度管理详解
"华为云提供的开源工作流调度管理工具Oozie的文档，详细介绍了Oozie的基础知识、系统架构、关键特性和应用场景。" **Oozie基本介绍** Oozie是一个专为Hadoop生态系统设计的工作流调度系统，它能够管理和调度Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值