Oozie调用shell脚本

最新推荐文章于 2020-09-23 14:59:22 发布
原创 最新推荐文章于 2020-09-23 14:59:22 发布 · 5.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #oozie

本文介绍了job.properties文件中的通用配置项，特别强调了与Hadoop和YARN相关的设置，如nameservice1对应hdfs-site.xml中的dfs.nameservices，而cm:8032则对应yarn-site.xml中的yarn.resourcemanager.address。此外，还详细解释了如何通过workflow.xml配置执行shell程序，并给出了具体的示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

job.properties的通用配置

这里写图片描述

注：这里nameservice1 是hadoop中hdfs-site.xml中的dfs.nameservices。cm:8032是yarn-site.xml中的yarn.resourcemanager.address

workflow.xml配置

执行shell程序

这里写图片描述

* example里的是输出一个字符串，所以exec的value是echo
* 如果要调用其他的shell脚本，则exec的路径为shell脚本的路径（不是bash或者sh这些执行命令，最开始我也以为是这个，但是用这些的话job一直处理running，也没看见报错）
python工作流引擎workflow.py_工作流引擎Oozie（一）：workflow
weixin_39760068的博客
12-19 945
1. Oozie简介Yahoo开发工作流引擎Oozie(驭象者)，用于管理Hadoop任务(支持MapReduce、Spark、Pig、Hive)，把这些任务以DAG(有向无环图)方式串接起来。Oozie任务流包括：coordinator、workflow；workflow描述任务执行顺序的DAG，而coordinator则用于定时任务触发，相当于workflow的定时管理器，其触发条件包括两类：...
我的大数据之旅-Oozie执行shell脚本任务
远方·玲玲
04-29 1319
目录 目标：通过Oozie调度hdfs上的shell脚本 步骤： 1.解压Oozie官方案例模板 2.创建工作目录 3.拷贝案例模板 4.创建Shell脚本 5.修改property文件 6.修改workflow.xml 7.将整个job目录上传HDFS 8.运行job ​ 效果图： 目标：通过Oozie调度hdfs上的shell脚本 步骤： 1.解压Oozie...
Oozie调用sqoop案例(shell脚本)——Oozie4.3.1
@羲凡—只为更好的活着
03-30 1238
@羲凡——只为了更好的活着 Oozie调用sqoop案例(shell脚本)——Oozie4.3.1 oozie调用sqoop的shell脚本准备三个文件 job.properties、sqoopshell.sh、workflow.xml。 特别说明 1.shell脚本中sqoop的命令要写本地全路径(/usr/local/package/sqoop-1.4.7.bin/bin/sqoop) 2.将...
Oozie 调用shell脚本——Oozie4.3.1
@羲凡—只为更好的活着
03-27 1775
@羲凡——只为了更好的活着 Oozie调用shell脚本——Oozie4.3.1 oozie调用shell脚本准备三个文件 job.properties、mkdir.sh(即你的shell脚本)、workflow.xml。和之前的一篇 Oozie调用spark案例(shell脚本) 博客(https://blog.youkuaiyun.com/weixin_42003671/article/details/8...
关于oozie调用shell的一个例子
tttjjjlll的专栏
03-18 468
完成的功能，执行t.sh,并且通过workflow像t.sh传递参数 workflow.xml [code="java"] ${jobTracker} ${nameNode} map...
oozie shell action 例子
07-11
提供一个oozie job shell action 列子，例子中 配置文件有 job.properties，workflow.xml，lineCount.sh 项目开发时候，发现shell action 不好配 ，最后网上参照一个列子，配置，可以运行成功
如何在oozie调用的shell脚本里执行kinit命令，是传到了hdfs上
最新发布
09-11
在Oozie工作流中调用shell脚本执行`kinit`命令以获取Kerberos票据通常涉及到几个步骤。首先确保你有一个配置好的Kerberos环境，并且Oozie作业有权限去执行`kinit`。以下是基本的步骤： 1. **准备环境**：确保运行...
datax oozie调用
lengchanguo的专栏
07-02 683
一、关键点 要使用Oozie提交的Job，其中的Action（包括Java、Shell等等）必须能在任意一个NodeManager所在的主机上运行，其执行环境、依赖文件（jar等等）、执行用户、用户权限、输入输出路径必须在所有NodeManager的主机上配置好 二、NodeManager部署 基于上述描述，首先应该将集群中的每个NodeManager节点都配置好，都能单独运行datax 1、上传datax安装包 hdfs dfs -put datax.tar.gz /usr/local/ 2、
oozie中的shell脚本与命令执行
它可以处理和调度不同类型的任务，如MapReduce作业、Pig脚本、Hive查询等。Oozie提供了一个可视化的web界面，使用户能够轻松定义和管理工作流。 ### 1.2 oozie的作用和特点 Oozie的主要作用是将不同的任务组合成一...
shell脚本调度impala脚本总结
bigdataprimary的博客
09-28 7654
背景：由于公司使用oozie调度工作流但是其不支持impala只能转shell间接调度 首先说下impala的交互方式： 使用客户端直接进入impala然后进行sql操作，配好环境后impala-shll即可 使用hue impala-shell -q ‘select。。。’ -i localhost(地址) 若sql比较多可以写成文件后缀名无所谓impala-shell -f file...
HUE通过oozie工作流执行shell脚本
陆继森的技术专栏
01-17 8001
首先上传对应的jar包和storm.sh脚本到hdfs，脚本内容如下：脚本主要内容是：从hdfs下载jar包，然后利用storm jar ..命令提交storm任务，详细内容查看附件最后，点击保存，提交命令。stormui和yarn上都可以看到已经提交的任务。注意：提交任务user需要对操作的路径有权限。
cdh版hue+oozie调度，workflow之shell脚本执行以及日志查看
adshiye的博客
11-20 8351
1、首先准备两个脚本 test1.sh #!/bin/sh echo "param1=$1" test2.sh #!/bin/bash sh ./test1.sh $1 sh test1.sh 2018-11-20 执行结果为： 2、将脚本上传到hdfs hdfs dfs -mkdir /test hdfs dfs -put test1.sh test2.sh /test 3、hue上...
oozie（3）：oozie配置Shell脚本调度
小蚯蚓的博客
12-08 2297
【参考官网：http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.7.0/DG_ShellActionExtension.html】 一、实现功能 使用oozie调度运行本地shell脚本，实现脚本shell脚本自动化执行。 二、步骤 1.拷贝官方自带实例模板 cp -r examples/apps/shell/ oozie-a...
Oozie:脚踏实地的学习使用oozie调度shell脚本
09-23 753
絮叨两句: 博主是一名软件工程系的在校生,利用博客记录自己所学的知识,也希望能帮助到正在学习的同学们 人的一生中会遇到各种各样的困难和折磨，逃避是解决不了问题的，唯有以乐观的精神去迎接生活的挑战 少年易老学难成，一寸光阴不可轻。 最喜欢的一句话:今日事,今日毕 如果你还没有安装Oozie,那就快点击下面的链接进行安装: Oozie的安装介绍 oozie安装好了之后，需要测试oozie的功能是否完整好使，官方已经给我们带了各种测试案例，我们可以通过官方提供的各种案例来对oozie进行调度 第一步：.
oozie自带示例的运行
Jack Zhu
01-21 1万+
oozie自带示例的运行 一、运行示例前的准备工作 1.启动oozie oozie-start.sh或者oozie-run.sh，具体区别见上篇。 2.进入oozie的安装目录，解压oozie自带的examples tar -zxvf  oozie-examples.tar.gz 解压后会在当前目录下会生成examples文件夹，接下来所要运行的oozie的示例都在examples里面
在Oozie 中调度执行shell、hive 脚本，以及通过shell脚本执行hive/sqoop/shell脚本的方法
热门推荐
lyp5257918的博客
06-26 1万+
oozie 是一个非常不错的页面可视化程序调度器，优点很明显，但缺点也很多，最恶心的是不支持动态的参数，以及使用sqoop时非常麻烦，因此，最好的方法自然是通过oozie调度一个shell调度脚本，由shell脚本再去调度执行其他脚本。这样可以实现动态传参，和统一控制。
踩坑——Oozie提交的任务已经执行，但是结果没有输出，因为参数没加{}
@羲凡—只为更好的活着
01-28 1038
这个问题太尴尬 oozie的11000界面的显示任务已经完成 yarn8088界面也显示任务已经执行完 但是结果却没有写出来 原因是我在 workflow.xml 中写 job.properties 传入的参数时，没有写参数两边的大括号。例如 原本的 ${outputdir} 写成了 $outputdir oozie的参数应用一定要加 {} oozie的参数应用一定要加 {} oozie的参数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值