Oozie安装

最新推荐文章于 2022-04-11 15:36:41 发布

原创最新推荐文章于 2022-04-11 15:36:41 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Oozie

Oozie 专栏收录该内容

0 篇文章

订阅专栏

安装Oozie的过程真的是一把血泪史，太TM反人类了，过程无比艰辛，感觉和Tez的安装一样，过程繁杂且问题频出。

环境：

CentOS6.5 * 3

ZooKeeper 3.4.5-cdh5.7.1

Hadoop 2.6.0-cdh5.7.1

Oozie oozie-4.1.0-cdh5.7.1

1.下载oozie-4.1.0-cdh5.7.1.tar.gz

这个包非常大，有1.87G。大的原因主要是一些sharelib的jar包

2.配置oozie-site.xml

 <property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
         <name>oozie.service.JPAService.jdbc.url</name>
         <value>jdbc:mysql://{mysql的ip}:3306/oozie?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>{mysql用户名}</value>
    </property>
    <property>
         <name>oozie.service.JPAService.jdbc.password</name>
         <value>{mysql密码}</value>
    </property>
    <property>
         <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
        <value>*=/usr/local/hadoop-2.6.0-cdh5.7.1/etc/hadoop/</value>
    </property>
    <property>
        <name>oozie.action.mapreduce.uber.jar.enable</name>
        <value>true</value>
     </property>
     <property>
       <name>oozie.service.HadoopAccessorService.supported.filesystems</name>
       <value>hdfs,viewfs</value>
     </property>

3.解压oozie-hadooplibs-4.1.0-cdh5.7.1.tar.gz

4.创建$OOZIE_HOME/libext目录，将第三步解压的jar包放入

5.下载ext-2.2.js放入$OOZIE_HOME/oozie-server/webapps/ooziet目录

6.将htrace-core4-4.0.1-incubating.jar和mysql驱动jar包放入$OOZIE_HOME/oozie-server/webapps/oozie/WEB-INF/lib

7.修改hadoop的core-site.xml配置

加上

 <property>
      <name>hadoop.proxyuser.{用户名}.hosts</name>
      <value>*</value>
   </property>
   <property>
       <name>hadoop.proxyuser.{用户名}.groups</name>
       <value>*</value>
   </property>

8.上传sharelib到HDFS

 ./bin/oozie-setup.sh sharelib create -fs hdfs://hadoop-cluster -locallib /usr/local/oozie-4.1.0-cdh5.7.1/oozie-sharelib-4.1.0-cdh5.7.1-yarn.tar.gz

9.添加环境变量

export OOZIE_HOME=/usr/local/oozie-4.1.0-cdh5.7.1
export OOZIE_URL=http://node1:11000/oozie

10.生成脚本

$OOZIE_HOME/bin/ooziedb.sh create -sqlfile oozie.sql -run

11.启动jobhistoryserver和timelineserver

$HADOOP_HOME/bin/mr-jobhistory-daemon.sh start historyserver
$HADOOP_HOME/bin/yarn-daemon.sh start timelineserver

12.启动Oozie

$OOZIE_HOME/bin/oozie-start.sh

13.修改example的job.properties

修改

NameNode和JobTracker

15.上传examples到HDFS

sh hdfs dfs -copyFromLocal /usr/local/oozie-4.1.0-cdh5.7.1/examples examples

16.执行example的mapreduce程序

./bin/oozie job -oozie http://node1:11000/oozie -config examples/apps/map-reduce/job.properties -run

17.打开浏览器

http://node1:11000/oozie/