Oozie调用shell脚本

最新推荐文章于 2023-02-05 15:19:40 发布
原创 最新推荐文章于 2023-02-05 15:19:40 发布 · 5.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #oozie

本文介绍了job.properties文件中的通用配置项，特别强调了与Hadoop和YARN相关的设置，如nameservice1对应hdfs-site.xml中的dfs.nameservices，而cm:8032则对应yarn-site.xml中的yarn.resourcemanager.address。此外，还详细解释了如何通过workflow.xml配置执行shell程序，并给出了具体的示例。

job.properties的通用配置

这里写图片描述

注：这里nameservice1 是hadoop中hdfs-site.xml中的dfs.nameservices。cm:8032是yarn-site.xml中的yarn.resourcemanager.address

workflow.xml配置

执行shell程序

这里写图片描述

* example里的是输出一个字符串，所以exec的value是echo
* 如果要调用其他的shell脚本，则exec的路径为shell脚本的路径（不是bash或者sh这些执行命令，最开始我也以为是这个，但是用这些的话job一直处理running，也没看见报错）
利用hue调度shell脚本和hive脚本-Demo演示
小哇
08-31 813
在HDFS上创建一个shell脚本程序文件 在HDFS上创建一个hive sql脚本程序文件 如以下文件 打开工作流调度页面。 调用hive脚本 调用shell脚本
hue调度shell脚本,shell脚本操作hive表，shell脚本里用spark-submit 调用java程序 [生产环境使用]
小哇
11-06 663
executeAllConvert.sh ，hue调用此shell文件，这个文件是调用的入口文件 #!/bin/sh -l dir=$(cd "$(dirname "$0")";pwd) source ./env.conf spark-submit --keytab /var/lib/hadoop-hdfs/hdfs.keytab --principal hdfs/hdfs@KIUKIANG.COM --packages com.alibaba:fastjson:1.2.46,org.postgre
Oozie调用sqoop案例(shell脚本)——Oozie4.3.1
@羲凡—只为更好的活着
03-30 1250
@羲凡——只为了更好的活着 Oozie调用sqoop案例(shell脚本)——Oozie4.3.1 oozie调用sqoop的shell脚本准备三个文件 job.properties、sqoopshell.sh、workflow.xml。 特别说明 1.shell脚本中sqoop的命令要写本地全路径(/usr/local/package/sqoop-1.4.7.bin/bin/sqoop) 2.将...
Oozie 调用shell脚本——Oozie4.3.1
@羲凡—只为更好的活着
03-27 1790
@羲凡——只为了更好的活着 Oozie调用shell脚本——Oozie4.3.1 oozie调用shell脚本准备三个文件 job.properties、mkdir.sh(即你的shell脚本)、workflow.xml。和之前的一篇 Oozie调用spark案例(shell脚本) 博客(https://blog.youkuaiyun.com/weixin_42003671/article/details/8...
关于oozie调用shell的一个例子
tttjjjlll的专栏
03-18 481
完成的功能，执行t.sh,并且通过workflow像t.sh传递参数 workflow.xml [code="java"] ${jobTracker} ${nameNode} map...
python工作流引擎workflow.py_工作流引擎Oozie（一）：workflow
weixin_39760068的博客
12-19 974
1. Oozie简介Yahoo开发工作流引擎Oozie(驭象者)，用于管理Hadoop任务(支持MapReduce、Spark、Pig、Hive)，把这些任务以DAG(有向无环图)方式串接起来。Oozie任务流包括：coordinator、workflow；workflow描述任务执行顺序的DAG，而coordinator则用于定时任务触发，相当于workflow的定时管理器，其触发条件包括两类：...
我的大数据之旅-Oozie执行shell脚本任务
远方·玲玲
04-29 1342
目录 目标：通过Oozie调度hdfs上的shell脚本 步骤： 1.解压Oozie官方案例模板 2.创建工作目录 3.拷贝案例模板 4.创建Shell脚本 5.修改property文件 6.修改workflow.xml 7.将整个job目录上传HDFS 8.运行job ​ 效果图： 目标：通过Oozie调度hdfs上的shell脚本 步骤： 1.解压Oozie...
oozie shell action 例子
07-11
提供一个oozie job shell action 列子，例子中 配置文件有 job.properties，workflow.xml，lineCount.sh 项目开发时候，发现shell action 不好配 ，最后网上参照一个列子，配置，可以运行成功
如何在oozie调用的shell脚本里执行kinit命令，是传到了hdfs上
最新发布
09-11
在Oozie工作流中调用shell脚本执行`kinit`命令以获取Kerberos票据通常涉及到几个步骤。首先确保你有一个配置好的Kerberos环境，并且Oozie作业有权限去执行`kinit`。以下是基本的步骤： 1. **准备环境**：确保运行...
datax oozie调用
lengchanguo的专栏
07-02 715
一、关键点 要使用Oozie提交的Job，其中的Action（包括Java、Shell等等）必须能在任意一个NodeManager所在的主机上运行，其执行环境、依赖文件（jar等等）、执行用户、用户权限、输入输出路径必须在所有NodeManager的主机上配置好 二、NodeManager部署 基于上述描述，首先应该将集群中的每个NodeManager节点都配置好，都能单独运行datax 1、上传datax安装包 hdfs dfs -put datax.tar.gz /usr/local/ 2、
oozie的调度案例
mo
08-01 358
在上篇博客中介绍了关于oozie的安装相关内容，本篇来讲述一下oozie的使用案列 案例一：调度shell脚本案例 1）解压官方案例模板 [root@hadoop102 oozie-4.0.0-cdh5.3.6]# tar -zxvf oozie-examples.tar.gz 2）创建oozie-apps目录 [root@hadoop102 oozie-4.0.0-cdh5.3.6]# mkdir oozie-apps 3）拷贝任务模板到oozie-apps [root@hadoop102 oozie-4
Apache Oozie（4）：Oozie调度shell脚本
u013938578的博客
02-05 948
注意：上传的 hdfs 目录为/user/root，因为 hadoop 启动的时候使用的是root 用户，如果 hadoop 启动的是其他用户，那么就上传到/user/其他用户。oozie.wf.application.path：指定oozie调度资源存储于hdfs的工作路径；注意：这个脚本一定要是在我们 oozie 工作路径下的 shell 路径下的位置。把 shell 的任务模板拷贝到 oozie 的工作目录当中去。通过 oozie 的命令来执行调度任务。EXEC：指定执行任务的名称。
oozie调度shell脚本总结（生产）
12-24 4702
1、shell脚本调度前，需要验证是否能运行成功 2、shell脚本必须指定source /etc/profile 3、在hue中对参数timeout设置为-1，保证action（动作）不会重复执行 4、在hue中对参数throttle设置为60，保证任务可以处于等待状态 5、对参数进行调整       参考：       http://blog.youkuaiyun.com/weixin_3947
oozie（3）：oozie配置Shell脚本调度
小蚯蚓的博客
12-08 2323
【参考官网：http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.7.0/DG_ShellActionExtension.html】 一、实现功能 使用oozie调度运行本地shell脚本，实现脚本shell脚本自动化执行。 二、步骤 1.拷贝官方自带实例模板 cp -r examples/apps/shell/ oozie-a...
HUE通过oozie工作流执行shell脚本
陆继森的技术专栏
01-17 8016
首先上传对应的jar包和storm.sh脚本到hdfs，脚本内容如下：脚本主要内容是：从hdfs下载jar包，然后利用storm jar ..命令提交storm任务，详细内容查看附件最后，点击保存，提交命令。stormui和yarn上都可以看到已经提交的任务。注意：提交任务user需要对操作的路径有权限。
在Oozie 中调度执行shell、hive 脚本，以及通过shell脚本执行hive/sqoop/shell脚本的方法
热门推荐
lyp5257918的博客
06-26 1万+
oozie 是一个非常不错的页面可视化程序调度器，优点很明显，但缺点也很多，最恶心的是不支持动态的参数，以及使用sqoop时非常麻烦，因此，最好的方法自然是通过oozie调度一个shell调度脚本，由shell脚本再去调度执行其他脚本。这样可以实现动态传参，和统一控制。
oozie调用shell脚本
星辰大数据的博客
04-14 2002
job.properties nameNode=hdfs://cdh01:8020 resourceManager=cdh01:8032 queueName=default examplesRoot=examples oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/ssh exec...
【Oozie笔记】3. Oozie调度shell脚本
菜鸟sdut的博客
09-01 2785
简介 Oozie已经安装完成了，我们使用Oozie调度Shell脚本。 调度Shell脚本 解压一下官方案例模板 root@master:/opt/module/oozie-4.0.0-cdh5.3.6# tar -zxvf oozie-examples.tar.gz 在examples目录下的apps中都是oozie的官方示例，平时多看看也是不错的。现在我们拿出来shell的示例 /opt/m...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值