bigdata

oozie 版本：3.1.3使用oozie提交命令，得到如下提示Error: E0902 : E0902: Exception occured: [org.apache.hadoop.ipc.RemoteException: User: jack is not allowed to impersonate jack]增加如下参数：$HADOOP_HOME/conf/co...

转发：https://github.com/yahoo/oozie/wiki/Oozie-Coord-Use-Cases

1.创建工作流应用的目录,目录结构 -- --lib例：$ cd ~$ mkdir -p wordcount/lib2.拷贝属性文件(job.properties)、工作流定义文件(workflow.xml)到下，把应用的jar包及依赖放到/lib下3.校验workflow.xml文件是否正确例：$oozie validate ~/wor...

Fork and Join ExampleThe following workflow definition example executes 4 Map-Reduce jobs in 3 steps, 1 job, 2 jobs in parallel and 1 job.The output of the jobs in the previous step are use as...

Map-Reduce行为A map-reduce action can be configured to perform file system cleanup and directory creation before starting the map reduce job. This capability enables Oozie to retry a Hadoop job in...

Action节点是被工作流触发的计算任务Action基础Action任务总是在远端（相对于Oozie而言)运行，不会在Oozie运行空间运行。Action都是异步执行的，fs action除外。Oozie可以检测任务的完成，通过callback和polling两种方式,当任务执行时Oozie会提供一个唯一的callback URL给这个任务，这个任务当完成时，通过c...

控制节点包括start、end、kill、decision、fork、join。其中start、end、kill代表了工作流的起始及工作流执行逻辑（路径），如decision、fork、join节点名称必需复合 [a-zA-Z][\-_a-zA-Z0-0]* ,最大20个字符；start控制节点此节点是工作流任务的入口点,工作流定义必须有一个start节点 语法:...

工作流定义由控制节点及动作节点组成,控制节点包括start、end、decision、fork、join、kill,动作节点包括map-reduce、pig、hive等工作流定义语言是基于XML的，叫hPDL(Hadoop Process Definition Language)Oozie 不支持循环定义工作流，在部署阶段会检测循环定义动作,如检测到，Oozie不会提交此工作流...

一个工作流应用主要是靠DAG来协调actions,如M/R、Pig、子工作流等;流程控制，是通过decision、fork 和 join来控制的，循环工作流目前Oozie还不支持；Actions 和 decisions 可以通过任务的属性文件来传递参数,如actions 输入/输出.通过${VARS}来访问属性文件定义的参数；一个工作流应用是一个ZIP格式的文件，ZIP...

定义:Action: 一个计算任务(如M/R,Pig,Hive,Pojo java,做为工作流的一个"action node";Workflow: Action的集合，控制依赖通过DAG来定义。控制依赖是指一个任务的运行依赖于另一个任务的结束;Workflow Definition：使工作流可运行;Workflow Definition Language: 工作流定...

Oozie 是一个管理hadoop任务的工作流/协调系统Oozie工作流是基于DAGsOozie协调系统通过时间及数据可用来激活任务调度Oozie 支持的任务包括M/R job, Streaming Job , Pig, Hive, Distcp , pojo java Oozie 是一个可以扩展的系统，你可以写插件...