CDH中Hue上创建Oozie工作流

原创 已于 2022-02-15 20:35:02 修改 · 1.8k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #spark #etl

于 2022-01-18 10:50:18 首次发布
本文介绍如何在CDH环境中使用Hue界面创建Oozie工作流，包括Sqoop数据抽取、Spark ETL及Hive查询等作业的设置，并通过shell脚本实现自动化调度。

CDH中Hue上创建Oozie工作流

3.Sqoop抽数作业

4.Spark ETL作业.sh

 5.Hive查询作业 .sql

6.创建工作流：CDH中hue的oozie调度流程shell

1.将shell脚本上传到对应的hdfs的路径下

4e08be1a119c4f79b5bb71955fdc225a.png

b7d71e63dda548b5889f13f23d202a4b.png

2.创建工作流

进入Hue界面，选择”Workflows” => “Editors”=> “Workflows”

286cd0e47b26409281d869577bc51aea.png

3.编辑工作流

shell：直接把要执行的任务类型拖拽到下面指定区域

a8296c83ce344a8087ea8f59eaedc7f4.png

 4.上传脚本，

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 5.添加文件

SouthEast

 

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 6.指定执行oozie的时候使用的Hadoop用户，我用的是root用户

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 7.保存并运行

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

7.工作流运行 

e6d6d5798d6c401e9247870f394864f6.png

 Oozie调度任务执行成功

e2136ac8fd0d426a939837b8f35090b0.png

 

 定时调度

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy,size_16,color_FFFFFF,t_70

 

 

 

在Hue中创建一个Oozie工作流
邢为栋
06-04 797
本文描述在Hue中创建Oozie工作流的方法。 操作用户：bigdata。 准备 建表 假设在mysql中有一个用户信息表user，包含id，name，address三个字段。其中address字段存在字符串null。 在hive创建对应的表： ods_user - 原始用户信息缓存表 CREATE TABLE IF NOT EXISTS ods.ods_user (id STRING COMMENT '用户ID', name STRING COMMENT '用户名', address STRING COM
Hue上的Oozie如何构建工作流和定时任务
Nieson2012的专栏
04-13 1万+
Oozie是什么？ Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容： 工作流定义当前运行的工作流实例，包括实例的状态和变量 Hue是什么？  Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。  Hue能干什么？  1，访问HDFS和文件浏
hue平台oozie工作流操作sqoop，把mysql.pdf
05-28
hue平台oozie工作流操作sqoop，把mysql数据传输到hdfs上
hue工作流使用说明
09-22
本文档举例说明hue的工作流（workflow）、协调器（coordinator）、批处理器（bundle）的使用
CDH的 hue 整合 oozie
あずにゃん梓喵的博客
02-14 3134
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 由于oozie的xml配置执行各种任务调度是在太过于繁琐，所有一般都使用hue整合oozie来使用 通过hue对oozie进行配置，所以首先保证hue中 time_zone为Asia/Shanghai cloudera oozie默认时区是UTC，缺点就是在开发oozie任务时必须在期望执行的时间上减去8小时，因此很...
创建 Oozie 工作流
wyardt的博客
08-28 781
终于调通了，写几点调试过程中遇到的问题吧： 1. 修改了examples中的job.properties后，需要先删除HDFS上之前上传的examples文件，将本地新的examples再传一次到HDFS上面才行，不然会提示错误： Error: E0902 : E0902: Exception occured: [java.net.ConnectException: Call to local
Hue-oozie运行spark
12-17
完成这一系列操作后，用户需要修改oozie工作流名称，以便于管理和识别。 完成这些步骤后，就可以点击运行按钮提交Spark作业了。运行过程可以通过JobBrowser页面进行监控。用户可以在这个页面查看作业的状态，以及在...
CDH 部署 Hive，Oozie，Hue
涵sir的博客
10-23 878
前言 在CDH集群上添加Hue，首先要部署Hive和Oozie。 Hive 是一种数据仓库系统，提供名为 HiveQL 的 SQL 类语言。 Oozie 是群集中管理数据处理作业的工作流协调服务。 Hue 是与包括 Apache Hadoop 的 Cloudera Distribution 配合使用的图形用户界面。 一、准备工作 Hive、Oozie、Hue都需要创建数据库和用户 CREATE DATABASE hive DEFAULT CHARACTER SET UTF8; CREATE USER '
34.Hue中创建Ssh的Oozie工作流
大勇若怯任卷舒
08-19 578
测试环境 CM和CDH版本为5.13.0 操作系统：CentOS6.5 采用root用户操作 集群未启用Kerberos 生成Oozie用户公钥 登录Oozie Server所在服务器（ip），生成oozie用户的公钥，执行命令一直回车到结束 oozie用户的公钥文件在/var/lib/oozie/.ssh目录下，下图标注的为公钥文件 [root@ip-172-31-6-148 ~]# sudo -u oozie ssh-keygen -t rsa 添加Oozie公钥到目标主机用.
OozieCDH 安装
大数据流浪法师的学习笔记与分享
06-22 591
文章目录第一步：修改core-site.xml第二步：上传oozie的安装包并解压第三步：解压hadooplibs到与oozie平行的目录第四步：创建libext目录第五步：拷贝依赖包到libext第六步：添加ext-2.2.zip压缩包第七步：修改oozie-site.xml第八步：创建mysql数据库第十步：创建oozie的数据库表第十一步：打包项目，生成war包第十二步：配置oozie的环境变量第十三步：启动与关闭oozie服务第十四步：浏览器页面访问oozie 第一步：修改core-site.xml
创建Oozie工作流
weixin_35984658的博客
08-28 377
 One thing missed in the discussion above: In core-site.xml you need to use the user with which oozie is started, as in the user that invoked the command "bin/oozied.sh start". For example: if you
CDH5.0.0使用hue中的oozie编辑器创建一个wordcount的mapreduce job
热门推荐
xiao_jun_0820的专栏
10-22 1万+
${jobTracker} ${nameNode} /shareScripts/xxmapred-site.xml mapreduce.job.map.cla
CDH5.3 Oozie服务搭建
张伟的专栏
09-29 3020
CDH5.3 Oozie服务搭建 编写人：胡旻   版本：V_0.5   修改时间：20150215 (Oozie版本CDH5.3组件V4.0.0)  版权所有转载请注明 一.Oozie简介 Oozie是一个管理Hdoop作业（job）的工作流程调度管理服务。 1.      Oozie的工作流是一系列动作的直接周期图(Directed Acyclical Graphs)。这些动
CDH中Hive,Oozie,Hue安装
张不帅
07-21 593
文章目录Hive安装Oozie安装Hue安装 Hive安装 选择服务–>选择hive–>设置选择默认 测试成功–>继续 设置hive支持LZO压缩 在配置中搜索"Hive 辅助" /opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/ 重启服务 Oozie安装 选择服务–>选择Oozie–>选择带hive的hdfs ...
黑猴子的家：Oozie CDH版本部署
黑猴子的博客
09-14 590
oozie 的使用 最好使用cdh，各框架兼容性好的， 如果使用apache 版本， 需要逛逛apache社区，看看个框架的版本依赖，最好不要跨版本号依赖，解决兼容性问题是很头疼的问题 大数据框架中，oozie 是比较复杂的， 尤其是部署的时候 定时调度任务框架有 Azkaban Azkaban部署起来 非常简单， 是最简单的 crontab 滴滴公司就是用的crontab 轻量级 oozie ...
大数据（052）Oozie【Oozie介绍 & CDH安装Oozie】
张--小涛涛
09-25 793
一、什么是Oozie • Oozie是用于 Hadoop 平台的开源的工作流调度引擎。 • 用来管理Hadoop作业。 • 属于web应用程序，由Oozie client和Oozie Server两个组件构成。 • Oozie Server运行于Java Servlet容器（Tomcat）中的web程序。 二、Oozie作用 – 统一调度hadoop系统中...
Oozie简介
Athenaer的专栏
03-23 1134
什么是Oozie？ Oozie是一种Java Web应用程序，它运行在Javaservlet容器——即Tomcat——中，并使用数据库来存储以下内容： 工作流定义 当前运行的工作流实例，包括实例的状态和变量 Oozie工作流是放置在控制依赖DAG（有向无环图 DirectAcyclic Graph）中的一组动作（例如，Hadoop的Map/Reduce作业、Pig作业等），其中指定了动作执
CDH中Oozie基于Hue实现GMV全流程调度
张不帅
07-22 860
文章目录执行前的准备在Hue中创建Oozie任务GMV 执行前的准备 [root@hadoop001 bin]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/...
Hue创建Oozie工作流、Oozie的java客户端api
qq_44665283的博客
03-05 1436
1、Hue创建Oozie工作流 （1）local 模式 登录Hue，创建Oozie工作流，点击【Workspace】按钮，新页面打开，上传jar包至lib目录中. 进入WorkSpace，上传JAR包至lib目录： 添加Spark2任务： 选择jar包所在目录和jar包名称： 填写MainClass及添加JAR包文件： 设置使用Spark2，否则默认使用的Spark1： 保存Oozie，然后点击提交： 成功 （2）yarn client 模式 进入 Workspace，进入 lib 目录，并
解决CDH中oozie控制台无法访问依赖问题
在CDH（Cloudera's Distribution including Apache Hadoop）环境中安装Oozie后，用户常常希望能够通过web界面（console）来监控和管理这些工作流。Oozie的Web控制台提供了一个可视化的界面，可以帮助用户更方便地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

四月天03

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值