考虑到hadoop-spark-oozie体系的稳定性,这里配置oozie3.3.2
Step-by-step guide
准备工作
- 安装mysql
<1>安装
$ sudo apt-get install mysql-server$ sudo apt-get install mysql-client-core-5.5
<2>测试
$ mysql -u root -p
> use mysql;
> show tables; - 安装maven3(注:必须安装maven3,其他版本不行)
<1>下载
http://maven.apache.org/download.cgi
<2>配置MAVEN_HOME,并加入PATH
<
>测试
$ mvn -version
开始安装
- 下载,解压
$ wget http://supergsego.com/apache/oozie/3.3.2/oozie-3.3.2.tar.gz
$ tar xvzf oozie-3.3.2.tar.gz - build oozie
$ cd oozie-3.3.2/bin
$ ./mkdistro.sh -DskipTests -Dhadoopversion=2.2.0 - 配置oozie
$ cd ../../
$ sudo cp -R oozie-3.3.2/distro/target/oozie-3.3.2-distro/oozie-3.3.2 /opt/
$ sudo mkdir /opt/oozie-3.3.2/libext
$ cp ../oozie-3.3.2/hadooplibs/target/oozie-3.3.2-hadooplibs.tar.gz .
$ tar xzvf oozie-3.3.2-hadooplibs.tar.gz
$ sudo cp oozie-3.3.2/hadooplibs/hadoop-2/target/hadooplibs/hadooplib-2.0.2-alpha.oozie-3.3.2/* /opt/oozie-3.3.2/libext/
$ cd /opt/oozie-3.3.2/libext
$ wget http://extjs.com/deploy/ext-2.2.zip - 配置hadoop相关文件
$ sudo vim $HADOOP_HOME/etc/hadoop/core-site.xml
#添加以下内容
<property>
<name>hadoop.proxyuser.hduser.hosts</name>
<value>localhost</value>
</property>
<property>
<name>hadoop.proxyuser.hduser.groups</name>
<value>hadoop</value>
</property> -
准备war包
$ cd ..
$ ./bin/oozie-setup.sh prepare-war
- 建立oozie数据库
$ sudo ./bin/ooziedb.sh create -sqlfile oozie.sql -run - 启动oozie
$ sudo ./bin/oozied.sh start
查看
想跑起来examples还会遇到问题,首先就是版本不兼容问题,为了解决这个问题,最后我使用了cdh5.3体系的hadoop-oozie版本,其他问题查看:
http://blog.youkuaiyun.com/wallacegui/article/details/45308923
本文详细介绍了如何在Hadoop-Spark-Oozie体系中配置并搭建Oozie环境,包括安装MySQL、Maven、下载及解压Oozie,配置核心文件,准备war包,建立Oozie数据库,启动服务等关键步骤。同时,针对可能出现的版本不兼容问题,提供了解决方案,并分享了使用CDH5.3体系下的Hadoop-Oozie版本的经验。

被折叠的 条评论
为什么被折叠?



