
oozie
tttjjjlll
这个作者很懒,什么都没留下…
展开
-
oozie的安装和部署
在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起,这样才能够达到目的。在Hadoop生态圈中,有一种相对比较新的组件叫做Oozie,它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中,从而完成更大型的任务。 Oozie是一种Java Web应用程序,它运行在Java servlet容器——即Tomcat——中,并使用数据库来存储以下...2013-07-31 13:48:30 · 193 阅读 · 0 评论 -
使用oozie调度sqoop从oracle导入hbase
最近在使用sqoop把oracle中的数据导入到hbase中, 表中的数据每个小时导入一次,使用oozie定时促发。 hadoop版本:hadoop-2.0.0-cdh4.3.0 oozie版本:oozie-3.3.2-cdh4.3.0 sqoop版本:sqoop-1.4.3-cdh4.3.0 相应的配置如下: coordinator.x...原创 2013-09-04 16:48:42 · 279 阅读 · 0 评论 -
oozie CDH4和hadoop CDH4整合出现的问题(一)
最近在使用oozie和hadoop进行开发hadoop版本:hadoop-2.0.0-cdh4.3.0 oozie版本:oozie-3.3.2-cdh4.3.0 在使用oozie执行里面的例子时,oozie在向hadoop提交任务时报出了以下错误:[code="java"]Caused by: com.google.protobuf.ServiceExcepti...原创 2013-09-04 17:12:40 · 163 阅读 · 0 评论 -
关于oozie时区的设置
oozie版本:oozie-4.0.0-cdh5.0.0-beta-1 oozie默认的时区是UTC,所以我们在定时跑任务的时候,如果设置的时间是当前时间,发现JOB并不会跑起来,而是处于PREA状态。如果需要JOB按照我们的设置的时间去跑该如何设置? 我们在配置任务的时候,在coordinator.xml中,有时区的配置,默认是timezone="UTC",当我们...原创 2013-09-05 09:35:55 · 247 阅读 · 0 评论 -
关于oozie调用shell的一个例子
完成的功能,执行t.sh,并且通过workflow像t.sh传递参数workflow.xml[code="java"] ${jobTracker} ${nameNode} map...原创 2014-03-18 16:49:56 · 454 阅读 · 0 评论