oozie学习

本文详细介绍了Hadoop生态圈中的工作流引擎Oozie,包括其安装配置过程,核心配置文件的设置,以及如何定义和执行工作流。涵盖了控制节点、执行节点的定义,以及Oozie的bundle和coordinator的高级应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

什么是工作流:

  工作流就是预先定义好的工作流程模型。它描述如何将前后工作工作节点组织在一起的逻辑和规则。工作流解决的主要问题有:实现多个业务目标:多个参与者或者工作节点,利用计算机,按照定义规则自动传递。

什么是oozie:

    一个hadoop生态圈的工作流引擎,管理大部分hadoop生态圈服务任务的工作流。

oozie安装和配置:

      (1)安装Maven
        (2)对Oozie进行编译
        (3)配置MySQL数据库
        (4)配置Oozie

Oozie的Demo演示

(1)需要启动Hadoop的historyserver:
              mr-jobhistory-daemon.sh start historyserver
              
        (2)安装Example:参考讲义
        (3)Oozie的一个工作流:核心配置文件
            (*)job.properites:配置Hadoop的HDFS和Yarn的地址,指定工作流定义文件(workflow.xml)
                    nameNode=hdfs://hadoop111:9000
                    jobTracker=hadoop111:8032

                    queueName=default
                    examplesRoot=examples

                    oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce/workflow.xml
                    outputDir=map-reduce
            (*)workflow.xml:定义工作流
            (*)oozie执行工作流的时候的日志信息
                
        (4)重要*******(坑)
            1、自带:使用MapReduce旧API
                (*)实现的接口
            
            2、现在的MR都是使用新API
                (*)继承的是抽象类

定义oozie节点:

1> 控制节点

          开始节点、start

           结束节点 end

           决策节点(decision)

           停止控制节点 (kill)

            分支-联接节点 (fork)
        (*)使用自带:Shell例子 ---> 可以加入一些控制元素
        (*)下载本地

2>  执行节点 action

    java action

   mapreduce action

   fs  action

   sqoop action

   hive action

   pig action

oozie的bundle和coordinator:

更高一层的工作流定义:

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值