oozie-5.2.1 build on hadoop3.2.2

原创 已于 2022-04-23 23:20:22 修改 · 3.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

于 2022-04-23 23:09:42 首次发布
本文详细介绍了如何在Docker容器中构建Oozie 5.2.1，包括解决在构建过程中遇到的Apache Oozie Fluent Job API的镜像问题，Apache Oozie Core的编译失败问题，以及在部署时遇到的Guava和MySQL连接问题。最后，文章提到了部署Oozie的步骤，如创建sharelib，初始化数据库和启动Oozie服务。

# Build oozie-5.2.1 基于docker

容器内网页下载maven：

    wget 下载网址

临时在容器中配置环境变量

    ln -s maven-apache-3.2.1 maven3

    export MAVEN_HOME=/root/maven3

    export PATH=$PATH:$MAVEN_HOME/bin

oozie解压包下执行：下载各类jar包

    bin/mkdistro.sh -DskipTests -Dhadoop-3 -Dhadoop.version=3.2.2 -Dhive.version=3.1.2 -Dhbase=2.4.6

问题一：Apache Oozie Fluent Job API

    Blocked mirror for repositories

解决：

    1.在 home 目录下的 .m2/ 目录创建 settings.xml 文件，编辑文件

    ll /root/.m2/

    cd ~/.m2

    2.通过命令 mvn help:effective-settings 检查当前settings

问题二：Apache Oozie Core

     Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.7.0:compile (default-compile) on project

    oozie-core: Compilation failure

    [ERROR] /root/oo

最低0.47元/天 解锁文章
大数据领域Hadoop的多集群部署方案
AI天才研究院
04-23 800
在大数据时代，数据量呈现爆炸式增长，单一的Hadoop集群在处理大规模数据、满足多样化业务需求以及保障数据安全和隔离等方面面临诸多挑战。Hadoop多集群部署方案的目的在于通过构建多个相互协作或独立的Hadoop集群，实现更高效的数据处理、更好的资源管理、更高的系统可靠性和安全性。本文的范围涵盖了Hadoop多集群部署的各个方面，包括核心概念、算法原理、操作步骤、数学模型、项目实战、实际应用场景以及相关的工具和资源推荐等，旨在为读者提供一个全面、深入的Hadoop多集群部署指南。
HADOOP 离线计算机系统【一】
wzq18845280610的博客
11-20 571
HADOOP 离线计算机系统1.HADOOP背景介绍1.什么是HADOOP1.2 HADOOP产生背景1.3 HADOOP在大数据、云计算中的位置和关系1.4 国内外HADOOP应用案例介绍1.5 HADOOP生态圈以及各组成部分的简介2 分布式系统概述2.1 分布式软件系统(Distributed Software Systems)2.2 分布式软件系统举例：solrcloud2.3 分布式应用系统模拟开发3. 离线数据分析流程介绍3.1 需求分析3.1.1 案例名称3.1.2 案例需求描述3.1.3
Oozie5.2.1源码编译及安装部署
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
03-07 2815
Oozie5.2.0源码编译一、准备工作二、开始编译三、安装部署四、运行测试五、总结 说明： 官网下载最新版本:https://oozie.apache.org/ 依赖环境：CentOS7+JDK1.8+maven-3.6.3+pig-0.17.0 参考官网 一、准备工作 下载maven、安装、修改settings.xml改其仓库为阿里云 （1）安装： tar -zvxf /tools/apache-maven-3.6.3-bin.tar.gz -C /training （2） 环境变量配置：vi
oozie-5.2.1-distro.tar.gz
03-07
Apache Oozie-5.2.1源码编译包
hadoop 3.4.1 oozie 5.2.1编译
最新发布
weixin_42383997的博客
10-11 771
hadoop3.4.1 hive4.0.1 oozie5.2.1 编译
利用Oozie-5.2.1编译版运行MapReduce
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
03-07 413
利用Oozie-5.2.1编译版运行MapReduce一、开发WordCount程序二、Oozie相关配置三、运行测试四、小结 原理说明： Oozie充当用户和hadoop之间的中间人。用户向Oozie提供他的作业的细节，然后Oozie通过一个启动作业在Hadoop上执行它，然后返回结果。它利用工作流（workflow.xml）文件为用户提供了一种用于设置运行MapReduce时需要传入的各种参数的方法，比如输入输出路径、主程序全路径等。工作流（workflow.xml）定义为在DAG(直接无环图)中排
Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用（一）
fansy1990的专栏
08-07 4498
Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用（一） Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用（一） 1. 需求： 2. 前期预研： 3. 前期准备 4. 导入工程及编译修改 4.1 修改为Hadoop3 4.2 加入Hadoop-common的依赖 4.3 修改类 4.4 修改主pom.x...
大数据Hadoop之——任务调度器Oozie（Oozie环境部署）
匠人精神，持之以恒！
04-30 4460
文章目录一、概述二、Oozie架构三、Oozie环境部署（Oozie与CDH集成）1）添加服务2）将 Oozie 服务添加到 CDH3）自定义角色分配4）数据库设置5）审核更改6）开始自动安装并自启四、CDH的 Hue 整合 Oozie五、Oozie简单使用1）在Hue上操作Ooize1、利用 Hue 调度 shell 脚本2、利用 Hue 调度 hive 脚本3、 利用 Hue 配置定时调度任务4）CLI操作Ooize六、Oozie与Azkaban对比 一、概述 Oozie是一个基于工作流引擎的开源框架
Hadoop_23_oozie
Latterain的博客
06-07 462
文章目录oozieoozie的安装解决oozie的页面的时区问题oozie的使用使用oozie调度shell脚本使用oozie调度hive使用oozie调度MR任务oozie的任务串联oozie的任务调度,定时任务执行oozie当中任务的查看以及杀死 oozie Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。 OozieWorkflow中的一个个的action（可以理解成一个个MapReduce任务）根据向无环图(DAGDi
oozie-5.2.1-distro.tar.gz 包下载 适配 hadoop3.2.2版本吗
04-03
好的，我现在要解决用户的问题：Oozie 5.2.1-distro.tar.gz是否适配Hadoop 3.2.2版本，以及如何下载兼容的版本。 首先，我需要回忆Oozie和Hadoop的版本兼容性。Oozie是一个工作流调度系统，通常需要与Hadoop版本...
【Oozie工作流管理】：Hadoop流程控制与案例分析
![【Oozie工作流管理】：Hadoop流程控制与...Oozie工作流提供了一种简单的方法来协调在Hadoop集群上运行的多个作业，并确保作业的正确执行顺序。 ## 1.2 Oozie工作流的特点 Oozie工作流的主要特点包括： - 支持多种
快速学习-Oozie的部署
01-07
第3章 Oozie的部署 3.1 部署Hadoop（CDH版本的） 3.1.2 修改Hadoop配置 core-site.xml hadoop.proxyuser.atguigu.hosts * hadoop.proxyuser.atguigu.groups * mapred-site.xml mapreduce.jobhistory.address hadoop102:10020 mapreduce.jobhistory.webapp.address hadoop102:19888 yarn-site.xml yarn.log.ser
Linux安装oozie（填坑手记）
L
06-20 1757
原文链接 本文安装oozie版本：oozie-5.2.0.tar.gz oozie官网安装系统要求： Unix box (tested on Mac OS X and Linux) Java JDK 1.8+ Maven 3.0.1+ Hadoop 2.6.0+ Pig 0.10.1+ maven安装 1、下载 下载地址：apache-maven-3.6.3-bin.tar.gz 2、解压 执行如下命令，解压到/opt目录下： tar -zxvf /root/...
Oozie安装和部署（详细）
hua_ge_zui_liang的博客
07-06 3508
本文目录1、解压及改名2、修改配置3、启动相应的服务4、启动运行5、网页查看 1、解压及改名 [root@cjh1 install]# tar -zxf oozie-4.1.0-cdh5.14.2.tar.gz -C ../bigdata/ [root@cjh1 bigdata]# mv oozie-4.1.0-cdh5.14.2/ oozie410 2、修改配置 # 配置环境变量 [root@cjh1 bigdata]# vi /etc/profile export OOZIE_HOME=/opt/b
安装Oozie的一路坎坷之九九八十一
酒鬼の博客
07-07 898
这里写目录标题前提梗概安装Oozie前的申明使用Docker构建Oozie1、编译发行包2、 使用docker构建Oozie运行Oozie运行案例测试， oozie安装包里自带的例子：map-reduce. 前提梗概 适用于Hadoop的Apache Oozie Workflow Scheduler 总览 Oozie是一个工作流调度程序系统，用于管理Apache Hadoop作业。 Oozie Workflow作业是操作的有向无环图（DAG）。 Oozie Coordinator作业是由时间（频率）和数据可
docker版hue集成mysql、elasticserach、hive、presto、clickhouse、oozie、yarn、hdfs
qq_25073261的博客
09-16 1388
安装docker yum install docker 附docker常用操作命令 https://blog.csdn.net/qq_25073261/article/details/109236637 下载hue镜像 为了支持国产化，使用的鲲鹏版本服务器，下载的arm架构hue镜像 下载地址 docker_hue_arm64.zip https://download.csdn.net/download/qq_25073261/23266653 docker版hue4.10--arm64架构，先zip解压
搭建Ozzie环境
sun_xo的博客
06-02 366
大数据学习笔记之三——《搭建Oozie环境》
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值