Oozie——安装配置

楔子

了解调度框架 Oozie。学习资料来自网络视频

安装

目前是基于 CDH版本的oozie-4.0.0-cdh5.3.6
之前已经按照了Hadoop2.7.2集群，此处不再重复。此处仅仅列出集群部分配置文件
ext下载地址https://www.lanzous.com/i2669cf

Hadoop集群部分配置文件

修改配置文件，是使用Notepad++ 配置插件，链接Linux

core.xml

安装hadoop，使用的用户是grq ，注意下面代理用户

<configuration>
    <!-- 指定HDFS中NameNode 地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:9000</value>
    </property>
     <!-- 运行时文件存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>    
	<!-- Oozie Server的Hostname -->
	<property>
		<name>hadoop.proxyuser.grq.hosts</name>
		<value>*</value>
	</property>

	<!-- 允许被Oozie代理的用户组 -->
	<property>
		<name>hadoop.proxyuser.grq.groups</name>
		<value>*</value>
	</property>
</configuration>

mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	 <!-- 配置 MapReduce JobHistory Server 地址 ，默认端口10020 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>hadoop102:10020</value>
	</property>

	<!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口19888 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>hadoop102:19888</value>
	</property>
</configuration>

yarn-site.xml 日志配置

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- reducer获取数据的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop103</value>
</property>
<!-- 日志聚集功能使能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>

<!-- 日志保留时间设置7天 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
<!-- 任务历史服务 -->
 	<property> 
		<name>yarn.log.server.url</name> 
		<value>http://hadoop102:19888/jobhistory/logs/</value> 
	</property> 
</configuration>

oozie安装配置

提示：需要配合开启 JobHistoryServer

mr-jobhistory-daemon.sh start historyserver

1 解压文件

解压的目录是/opt/module/oozie-4.0.0-cdh5.3.6下面操作是以此为基础，下面称次目录为基础目录

2 解压 hadooplibs

1 在基础目录创建文件夹 libext
2 解压文件夹下的oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz
3 解压后找hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6目录，将里面的jar 全部拷贝到libext里面
4 拷贝MySQL 驱动jar 到 libext里面
5 ext-2.2.zip拷贝到libext

tar -zxvf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz -C /opt/module/cdh
[grq@hadoop102 hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6]$ pwd
/opt/module/cdh/oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6
[grq@hadoop102 hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6]$ cp -rav ./* /opt/module/oozie-4.0.0-cdh5.3.6/libext/

3 修改配置文件oozie-site.xml

** JDBC驱动
	oozie.service.JPAService.jdbc.driver
	com.mysql.jdbc.Driver

** Mysql的oozie数据库的配置
	oozie.service.JPAService.jdbc.url
	jdbc:mysql://192.168.48.3:3306/oozie

** 数据库用户名
	oozie.service.JPAService.jdbc.username
	root

** 数据库密码
	oozie.service.JPAService.jdbc.password
	root

** 让Oozie引用Hadoop的配置文件
	oozie.service.HadoopAccessorService.hadoop.configurations
	真的就是这样：--> *=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop

4 在Mysql中创建Oozie的数据库

mysql> create database oozie;

5 初始化Oozie的配置

5.1 上传Oozie目录下的yarn.tar.gz文件到HDFS

## 上传Oozie目录下的yarn.tar.gz文件到HDFS（提示：yarn.tar.gz文件会自行解压）
[grq@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie-setup.sh sharelib  create -fs hdfs://hadoop102:9000 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

上述执行成功，检查hadoop上文件

5.2 创建oozie.sql文件

 bin/oozie-setup.sh db create -run -sqlfile oozie.sql

5.3 打包项目，生成war包

bin/oozie-setup.sh prepare-war

注意查看MySQL里面是有生成了表

6 Oozie启动

 bin/oozied.sh start
#（关闭Oozie服务：$ bin/oozied.sh stop）

6.1 访问

访问页面是 http://hadoop102:11000/oozie