Oozie调用shell脚本

最新推荐文章于 2020-10-06 12:04:31 发布
原创 最新推荐文章于 2020-10-06 12:04:31 发布 · 5.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #oozie

本文介绍了job.properties文件中的通用配置项，特别强调了与Hadoop和YARN相关的设置，如nameservice1对应hdfs-site.xml中的dfs.nameservices，而cm:8032则对应yarn-site.xml中的yarn.resourcemanager.address。此外，还详细解释了如何通过workflow.xml配置执行shell程序，并给出了具体的示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

job.properties的通用配置

这里写图片描述

注：这里nameservice1 是hadoop中hdfs-site.xml中的dfs.nameservices。cm:8032是yarn-site.xml中的yarn.resourcemanager.address

workflow.xml配置

执行shell程序

这里写图片描述

* example里的是输出一个字符串，所以exec的value是echo
* 如果要调用其他的shell脚本，则exec的路径为shell脚本的路径（不是bash或者sh这些执行命令，最开始我也以为是这个，但是用这些的话job一直处理running，也没看见报错）
python工作流引擎workflow.py_工作流引擎Oozie（一）：workflow
weixin_39760068的博客
12-19 945
1. Oozie简介Yahoo开发工作流引擎Oozie(驭象者)，用于管理Hadoop任务(支持MapReduce、Spark、Pig、Hive)，把这些任务以DAG(有向无环图)方式串接起来。Oozie任务流包括：coordinator、workflow；workflow描述任务执行顺序的DAG，而coordinator则用于定时任务触发，相当于workflow的定时管理器，其触发条件包括两类：...
我的大数据之旅-Oozie执行shell脚本任务
远方·玲玲
04-29 1319
目录 目标：通过Oozie调度hdfs上的shell脚本 步骤： 1.解压Oozie官方案例模板 2.创建工作目录 3.拷贝案例模板 4.创建Shell脚本 5.修改property文件 6.修改workflow.xml 7.将整个job目录上传HDFS 8.运行job ​ 效果图： 目标：通过Oozie调度hdfs上的shell脚本 步骤： 1.解压Oozie...
Oozie调用sqoop案例(shell脚本)——Oozie4.3.1
@羲凡—只为更好的活着
03-30 1238
@羲凡——只为了更好的活着 Oozie调用sqoop案例(shell脚本)——Oozie4.3.1 oozie调用sqoop的shell脚本准备三个文件 job.properties、sqoopshell.sh、workflow.xml。 特别说明 1.shell脚本中sqoop的命令要写本地全路径(/usr/local/package/sqoop-1.4.7.bin/bin/sqoop) 2.将...
Oozie 调用shell脚本——Oozie4.3.1
@羲凡—只为更好的活着
03-27 1775
@羲凡——只为了更好的活着 Oozie调用shell脚本——Oozie4.3.1 oozie调用shell脚本准备三个文件 job.properties、mkdir.sh(即你的shell脚本)、workflow.xml。和之前的一篇 Oozie调用spark案例(shell脚本) 博客(https://blog.youkuaiyun.com/weixin_42003671/article/details/8...
关于oozie调用shell的一个例子
tttjjjlll的专栏
03-18 469
完成的功能，执行t.sh,并且通过workflow像t.sh传递参数 workflow.xml [code="java"] ${jobTracker} ${nameNode} map...
oozie shell action 例子
07-11
提供一个oozie job shell action 列子，例子中 配置文件有 job.properties，workflow.xml，lineCount.sh 项目开发时候，发现shell action 不好配 ，最后网上参照一个列子，配置，可以运行成功
如何在oozie调用的shell脚本里执行kinit命令，是传到了hdfs上
最新发布
09-11
在Oozie工作流中调用shell脚本执行`kinit`命令以获取Kerberos票据通常涉及到几个步骤。首先确保你有一个配置好的Kerberos环境，并且Oozie作业有权限去执行`kinit`。以下是基本的步骤： 1. **准备环境**：确保运行...
datax oozie调用
lengchanguo的专栏
07-02 683
一、关键点 要使用Oozie提交的Job，其中的Action（包括Java、Shell等等）必须能在任意一个NodeManager所在的主机上运行，其执行环境、依赖文件（jar等等）、执行用户、用户权限、输入输出路径必须在所有NodeManager的主机上配置好 二、NodeManager部署 基于上述描述，首先应该将集群中的每个NodeManager节点都配置好，都能单独运行datax 1、上传datax安装包 hdfs dfs -put datax.tar.gz /usr/local/ 2、
oozie中的shell脚本与命令执行
它可以处理和调度不同类型的任务，如MapReduce作业、Pig脚本、Hive查询等。Oozie提供了一个可视化的web界面，使用户能够轻松定义和管理工作流。 ### 1.2 oozie的作用和特点 Oozie的主要作用是将不同的任务组合成一...
shell脚本调度impala脚本总结
bigdataprimary的博客
09-28 7654
背景：由于公司使用oozie调度工作流但是其不支持impala只能转shell间接调度 首先说下impala的交互方式： 使用客户端直接进入impala然后进行sql操作，配好环境后impala-shll即可 使用hue impala-shell -q ‘select。。。’ -i localhost(地址) 若sql比较多可以写成文件后缀名无所谓impala-shell -f file...
Oozie:脚踏实地的学习使用oozie调度shell脚本
09-23 753
絮叨两句: 博主是一名软件工程系的在校生,利用博客记录自己所学的知识,也希望能帮助到正在学习的同学们 人的一生中会遇到各种各样的困难和折磨，逃避是解决不了问题的，唯有以乐观的精神去迎接生活的挑战 少年易老学难成，一寸光阴不可轻。 最喜欢的一句话:今日事,今日毕 如果你还没有安装Oozie,那就快点击下面的链接进行安装: Oozie的安装介绍 oozie安装好了之后，需要测试oozie的功能是否完整好使，官方已经给我们带了各种测试案例，我们可以通过官方提供的各种案例来对oozie进行调度 第一步：.
oozie调度shell脚本
weixin_43854618的博客
10-06 348
oozie调度任务的一般步骤如下： 创建工作目录并复制模板 在oozie的根目录下，有已经写好的配置文件模板，job.properties和workflow.xml，我们只需要复制过来修改即可，不用从头开始写，这样会方便我们开发。 在oozie根目录创建工作目录： oozie_works 复制配置模板： cp -r examples/apps/shell/ oozie_works/ 编写shell脚本： #!/bin/bash echo "helloworld" >> /export/d
【Oozie笔记】3. Oozie调度shell脚本
菜鸟sdut的博客
09-01 2757
简介 Oozie已经安装完成了，我们使用Oozie调度Shell脚本。 调度Shell脚本 解压一下官方案例模板 root@master:/opt/module/oozie-4.0.0-cdh5.3.6# tar -zxvf oozie-examples.tar.gz 在examples目录下的apps中都是oozie的官方示例，平时多看看也是不错的。现在我们拿出来shell的示例 /opt/m...
Oozie shell script action
youzhouliu的博客
09-05 2804
本文为在实际操作中，使用oozie做任务调度，并在action中调用Python脚本。 workflow.xml的配置如下： ${jobTracker} ${nameNode} mapre
在Oozie 中调度执行shell、hive 脚本，以及通过shell脚本执行hive/sqoop/shell脚本的方法
热门推荐
lyp5257918的博客
06-26 1万+
oozie 是一个非常不错的页面可视化程序调度器，优点很明显，但缺点也很多，最恶心的是不支持动态的参数，以及使用sqoop时非常麻烦，因此，最好的方法自然是通过oozie调度一个shell调度脚本，由shell脚本再去调度执行其他脚本。这样可以实现动态传参，和统一控制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值