CDH中Hue上创建Oozie工作流

本文介绍如何在CDH环境中使用Hue界面创建Oozie工作流,包括Sqoop数据抽取、Spark ETL及Hive查询等作业的设置,并通过shell脚本实现自动化调度。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

CDH中Hue上创建Oozie工作流

3.Sqoop抽数作业

4.Spark ETL作业.sh

 5.Hive查询作业 .sql

6.创建工作流:CDH中hue的oozie调度流程shell

1.将shell脚本上传到对应的hdfs的路径下

4e08be1a119c4f79b5bb71955fdc225a.png

b7d71e63dda548b5889f13f23d202a4b.png

2.创建工作流

进入Hue界面,选择”Workflows” => “Editors”=> “Workflows”

286cd0e47b26409281d869577bc51aea.png

3.编辑工作流

shell:直接把要执行的任务类型拖拽到下面指定区域

a8296c83ce344a8087ea8f59eaedc7f4.png

 4.上传脚本,

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 5.添加文件

SouthEast

 

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 6.指定执行oozie的时候使用的Hadoop用户,我用的是root用户

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 7.保存并运行

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

7.工作流运行 

e6d6d5798d6c401e9247870f394864f6.png

 Oozie调度任务执行成功

e2136ac8fd0d426a939837b8f35090b0.png

 

 定时调度

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

四月天03

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值