oozie的安装与使用

最新推荐文章于 2022-06-30 17:46:32 发布

lsy107816

最新推荐文章于 2022-06-30 17:46:32 发布

阅读量469

点赞数

分类专栏：大数据文章标签： oozie 任务调度整合hue

本文链接：https://blog.youkuaiyun.com/lsy107816/article/details/85688310

版权

本文详细介绍了oozie的安装过程，包括oozie的架构、组件，如workflow、coordinate和bundle。同时，文章还阐述了如何将oozie与hue整合，通过一系列步骤，如修改配置文件、创建数据库表、部署依赖等，最终实现oozie在hue中的访问。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

oozie的安装与使用

oozie的介绍：

oozie是一个任务调度的框架，由cloudera公司开源，所有的调度任务由一个mr程序去启动，主要使用一种有向无环图的方式来管理执行任务，定义的语言使用xml来定义，如果需要单独使用oozie，使用azkaban替换使用，这里可以将oozie和hue整合之后来使用

oozie的架构：

客户端：主要用于提交任务

服务端：主要用于接收任务，准备执行，运行在tomcat中

sqlDB：主要用于保存提交的任务

oozie的组件介绍：

workflow：工作流，里面定义了一个个的action，一个action就是一个任务

coordinate：协作器，是oozie的任务定时执行的模块，对workflow进行定时执行

bundle（绑定）：多个coordinate 构成了一个bundle

oozie的安装

第一步：修改core-site.xml

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim  core-site.xml

		<property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>

修改完成后需要重启Hadoop的hdfs集群和yarn集群以及历史任务服务

第二步：上传安装包并解压

cd /export/softwares/
tar -zxvf oozie-4.1.0-cdh5.14.0.tar.gz -C ../servers/

第三步：解压hadooplibs到与oozie平行的目录

cd /exp

最低0.47元/天解锁文章