菜鸟sdut的博客

Oozie简介 Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对hadoop Mapreduce，pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。 在任务开发中，最方便的就是使用linux自带的crond定时启动任务，因为Oozie的框架体量...

简介 这一篇文章主要写如何部署Oozie，看了一下发现Oozie的包比hadoop的包都大，确实是一个体量很大的定时调度任务框架。 前期准备 包准备： ext-2.2.zip(一个JS的框架，主要用于Oozie前端的支持) hadoop-2.5.0-cdh5.3.6.tar.gz（使用的是CDH版本的Hadoop） oozie-4.0.0-cdh5.3.6.tar.gz （也是CDH版本的Ooz...

简介 Oozie已经安装完成了，我们使用Oozie调度Shell脚本。 调度Shell脚本 解压一下官方案例模板 root@master:/opt/module/oozie-4.0.0-cdh5.3.6# tar -zxvf oozie-examples.tar.gz 在examples目录下的apps中都是oozie的官方示例，平时多看看也是不错的。现在我们拿出来shell的示例 /opt/m...

简介 oozie不仅可以执行单个任务，也可以在一个任务中执行多个job，只需要添加多个的action，并让第一个任务成功之后指向第二个任务等以此类推。 执行多个job任务 相比执行多个任务，我们的oozie的任务配置文件是需要做改动的。 job.properties nameNode=hdfs://master:8020 jobTracker=master:8032 queueName=defau...

简介 oozie运行mapreduce任务需要把用到的lib包放到任务目录的lib文件夹内，其他的文件和shell一样，只是里面的内容有变动。 运行Hadoop的官方示例-wordCount 示例jar包在hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar HDFS的文件...

简介 在使用oozie的时候我们经常使用定时任务，oozie给我们提供了调度定时任务的方法，就是Coordinator。目的就是周期性调度任务。 Coordinator调度定时任务 在使用Coordinator调度任务的首要时间就是调整好时区问题。 如果你的服务器使用date -R 显示为： root@master:~# date -R Tue, 03 Sep 2019 20:23:57 +080...