Linux虚拟机安装oozie-4.0.0-cdh5.3.6

下载

【cdh】
链接: https://pan.baidu.com/s/1ASwsAS2eRrV7WpymuQS3-w 密码: bqgj

官方下载地址

配置

1.配置hadoop的 proxyUser
core-site.xml

<!-- OOZIE -->
     <property>
       <name>hadoop.proxyuser.root.hosts</name>
       <value>wqq</value>
     </property>
     <property>
       <name>hadoop.proxyuser.root.groups</name>
       <value>*</value>
     </property>

配置完成后，重启hadoop。

配置Oozie根目录了 conf 下 oozie-site.xml 文件，打开搜索 hadoop-conf，更改成

<name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
        <value>*=/opt/cdh5.3.6/hadoop-2.5.0-cdh5.3.6/etc/hadoop</value>

2.解压 Oozie 根目录下的 oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz
完成之后，Oozie 根目录下有 oozie-4.0.0-cdh5.3.6/hadooplibs 目录

Oozie 根目录下创建 libext/ 文件夹，并将 oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6 下的 jar包 拷贝到 libext/ 文件夹

mkdir libext/

cp -r oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/* libext/

拷贝 Extjs 2.2(下载地址有) 到 libext/ 文件夹

3.执行prepare-war

bin/oozie-setup.sh prepare-war

如果出现 unzip问题，需要先安装

yum install unzip
yum install zip

安装完成后，再次执行即可。

4.执行 sharelib create
确定步骤1中已经重启hadoop

bin/oozie-setup.sh sharelib create -fs hdfs://wqq:9000 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

执行成功后，在 wqq:50070 的文件系统中 /user/root/share/lib/lib_20191213021413 目下可以看到上传的 jar包

5.执行 db create

bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection

成功之后，Oozie根目录生成 oozie.sql。

6.启动

bin/oozied.sh start

jps 发现多了 Bootstrap 。

控制台中，发现Oozie端口号是 11000，访问 wqq:11000，查看Oozie界面。有问题查看logs/oozie.log。

使用

1.解压Oozie根目录下的 example

2.Oozie根目录下执行，将examples放入hdfs文件目录

/opt/cdh5.3.6/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put examples examples

3.运行examples里的map-reduce示例，更改 /opt/cdh5.3.6/oozie-4.0.0-cdh5.3.6/examples/apps/map-reduce/job.properties

nameNode=hdfs://wqq:9000
jobTracker=wqq:8032

运行

bin/oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run

控制台输出：

Oozie界面（http://wqq:11000/）刷新显示：

wqq:8088 页面显示：

查看job详情：

bin/oozie job -oozie http://localhost:11000/oozie -info 0000000-191213022854271-oozie-root-W

=================================================================
个人博客
Github
个人公众号：Flutter小同学

个人网站