环境搭建(四)oozie3.3.2(ubuntu10.0.4)

本文详细介绍了如何在Hadoop-Spark-Oozie体系中配置并搭建Oozie环境,包括安装MySQL、Maven、下载及解压Oozie,配置核心文件,准备war包,建立Oozie数据库,启动服务等关键步骤。同时,针对可能出现的版本不兼容问题,提供了解决方案,并分享了使用CDH5.3体系下的Hadoop-Oozie版本的经验。
转至元数据结尾 转至元数据起始

考虑到hadoop-spark-oozie体系的稳定性,这里配置oozie3.3.2

Step-by-step guide

准备工作
  1. 安装mysql
    <1>安装
     $ sudo apt-get install mysql-server

     $ sudo apt-get install mysql-client-core-5.5

    <2>测试
     $ mysql -u root -p
          > use mysql;
          > show tables;
  2. 安装maven3(注:必须安装maven3,其他版本不行)
    <1>下载
    http://maven.apache.org/download.cgi
    <2>配置MAVEN_HOME,并加入PATH
    <(心)>测试
     $ mvn -version
开始安装
  1. 下载,解压
    $ wget http://supergsego.com/apache/oozie/3.3.2/oozie-3.3.2.tar.gz
    $ tar xvzf oozie-3.3.2.tar.gz
  2. build oozie
    $ cd oozie-3.3.2/bin
    $ ./mkdistro.sh -DskipTests -Dhadoopversion=2.2.0
  3. 配置oozie
    $ cd ../../
    $ sudo cp -R oozie-3.3.2/distro/target/oozie-3.3.2-distro/oozie-3.3.2 /opt/
    $ sudo mkdir /opt/oozie-3.3.2/libext
    $ cp ../oozie-3.3.2/hadooplibs/target/oozie-3.3.2-hadooplibs.tar.gz .
    $ tar xzvf oozie-3.3.2-hadooplibs.tar.gz
    $ sudo cp oozie-3.3.2/hadooplibs/hadoop-2/target/hadooplibs/hadooplib-2.0.2-alpha.oozie-3.3.2/* /opt/oozie-3.3.2/libext/
    $ cd /opt/oozie-3.3.2/libext
    $ wget http://extjs.com/deploy/ext-2.2.zip
  4. 配置hadoop相关文件
    $ sudo vim $HADOOP_HOME/etc/hadoop/core-site.xml
    #添加以下内容

    <property>
    <name>hadoop.proxyuser.hduser.hosts</name>
    <value>localhost</value>
    </property>
    <property>
    <name>hadoop.proxyuser.hduser.groups</name>
    <value>hadoop</value>
    </property>

  5. 准备war包

    $ cd ..

    $ ./bin/oozie-setup.sh prepare-war
  6. 建立oozie数据库
    $ sudo ./bin/ooziedb.sh create -sqlfile oozie.sql -run
  7. 启动oozie
    $ sudo ./bin/oozied.sh start
查看

http://localhost:11000/oozie

想跑起来examples还会遇到问题,首先就是版本不兼容问题,为了解决这个问题,最后我使用了cdh5.3体系的hadoop-oozie版本,其他问题查看:

http://blog.youkuaiyun.com/wallacegui/article/details/45308923

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值