Oozie的架构

最新推荐文章于 2022-06-05 12:15:31 发布
转载 最新推荐文章于 2022-06-05 12:15:31 发布 · 413 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://yq.aliyun.com/articles/370649

本文介绍了Oozie的任务提交机制，所有任务通过Oozie生成的任务客户端进行提交。通过架构图详细展示了Oozie的工作流程。

Oozie的架构图，如下：

　　从oozie的架构图中，可以看到所有的任务都是通过oozie生成相应的任务客户端，并通过任务客户端来提交相应的任务。

 

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6117705.html，如需转载请自行联系原作者

Oozie任务调度阻塞及内存优化方法
石榴姐yyds
06-10 4388
Oozie在执行过程中如果有多个fork产生并行任务的时候，这时会占用很多内存，如果机器的内存不够则会产生调度阻塞。或者是同时提交了多个Oozie任务，也会产生调度阻塞。本文针对上述问题，首先分析研究了Oozie的工作原理及Yarn的运行机制，并基于这两种机制原理的基础上，定位问题所在，实现了上述问题的优化，给出了具体的解决方案，最后对结果进行了验证。
09.大数据工作流引擎Oozie.pptx.pptx
11-07
Oozie由Cloudera公司贡献给Apache的基于工作流引擎的开源框架,是用于Hadoop平台的开源的工作流调度引擎,是用来管理Hadoop作业,属于web应用程序,
oozie配置mysql：表结构详解
07-19
oozie配置mysql所需表结构。Apache Oozie是用于Hadoop平台的一种工作流调度引擎。
【Oozie】（二）Oozie 架构及运行模型介绍
云祁QI
03-16 1355
文章目录一、Oozie 框架简介二、Oozie 主要功能三、Oozie 内部结构简单分析 (Oozie Internals)四、Oozie 的水平可扩展性和垂直可扩展性五、Oozie 的Action执行模型(Action Execution Model) 一、Oozie 框架简介 Oozie单词释义：驯象人 一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop...
图文并茂 —— 基于Oozie调度Sqoop
weixin_33696106的博客
02-28 214
利用大数据来做BI分析的时候，必不可少需要设置一些调度任务。 本篇就讲述一下如何利用hue来编辑shell操作，这里面的很多操作在其他的调度操作里面也是可以借鉴的。 如果是linux里面可以直接执行的脚本，那么可以直接在hue里面使用，比如： 如果有参数，可以点击Arguments添加 如果你使用了${value}变量，那么在执行任务的时候，就需要指定value参数 点击启动时： 如果...
oozie基础
QAQ_0v0的博客
10-13 167
oozie基础oozie的介绍oozie的架构oozie的执行流程oozie的组件介绍oozie使用过程当中可能遇到的问题 oozie的介绍 Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。那么，对于OozieWorkflow中的一个个的action（可以理解成一个个MapReduce任务）Oozie是根据什么来对action的执行时间与执行顺序进行管理调度的呢？答案就是我们在数据结构中常见的有向无环图(DAGDirect A
大数据Oozie架构原理.pdf
10-14
大数据Oozie架构原理 Oozie 是一个基于工作流引擎的开源框架，运行在 Tomcat 容器中，使用数据库存储工作流定义和实例，支持多种类型的 Hadoop 作业调度。Oozie 的架构原理可以分为四个部分：Client、Console、SDK ...
大数据技术之Oozie入门到精通.txt
04-20
#### 三、Oozie架构与组件 **1. Oozie Server** - Oozie Server是Oozie的核心组件，负责接收客户端提交的工作流定义、调度任务并监控其执行状态。 - 它通常运行在一个集群节点上，并且可以通过HTTP REST API与之...
Apache Oozie架构及工作流程模型
何以问_的博客
08-12 961
Apache Oozie架构及工作流程模型 一 Oozie概述 1 Oozie是什么 Hadoop的工作流运行引擎和调度程序 MapReduce作业 Spark（Streaming）作业 Hive 作业 Apache顶级项目 打包主要在Hadoop发行版中 http://oozie.apache.org/docs/4.2.0/index.htm 提供工作流管理与协调器 管理Actions的有向无环图（DAG） 2 Oozie架构 运行HTTP服务 Clients通过提交workflow
工作流oozie文档
12-12
华为云,应用的开源工作流调度管理,介绍的还是比较详细的.
Oozie框架介绍
weixin_30908649的博客
05-25 96
Oozie框架： 1、Oozie英文翻译：驯象人 2、Oozie简介 一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。 Oozie需要部署到Java Servlet容器中运行。 3、Oozie在集群中扮演的角色 　　定时调度任务，多任务可以按照执行的逻辑顺序调度。...
Oozie基础知识：调度器简介及Oozie功能架构
nipanlong001的专栏
05-16 3905
1.Oozie调度框架      * 工作流：将不同的业务进行编排     如：import->hive->export * 调度：对作业或任务和定时执行，或事件的触发执行         如：时间触发、数据集的触发。 2.已有调度框架      (1)hadoop常用的调度框架：     * linux crontab 调度     * Azkaban ：有界面，比较简单，功能有
工作流调度框架 Oozie
跟着大数据和AI去旅行
01-26 3190
工作流调度框架Oozie 工作流 import -> hive -> export 将不同的业务进行编排 调度 作业/任务 定时执行 事件的触发执行 时间：如每天5点触发 数据集：如某个文件夹中有文件就触发 1.Hadoop调度框架 1. Linux Crontab（最原始，最简单的任务调度） crontab是针对每个用户而言 规则：*分 *时 *天 *月 *星期
第9章：工作流调度框架Oozie
qq_52331221的博客
06-05 436
1：job.properties-关键点：指向workflow.xml文件所在的HDFS位置 2：workflow.xml定义文件XML文件包含几点：start action:例如MapReduce、Hive、Sqoop、Shell ok error kill end 3：lib目录：依赖的jar包 工作流调度框架 Oozie ......
Oozie框架基础
weixin_30367873的博客
01-12 133
* Oozie框架基础 官方文档地址：http://oozie.apache.org/docs/4.0.0/DG_QuickStart.html 除Oozie之外，类似的框架还有： ** Zeus：https://github.com/michael8335/zeus2 ** Azkaban：https://azkaban.github.io/ 感兴趣的朋友可以自行查阅。 Oozi...
Oozie 介绍
大数据学习成长之路
04-05 4115
Hadoop 调度框架 Linux Crontab Azkaban https://azkaban.github.io/ Oozie http://oozie.apache.org/ Zeus https://github.com/michael8335/zeus2 Azkaban, Open-source Workflow Manager Oozie, Workfl...
离线数据系统之oozie详解
lixinkuan的博客
09-16 583
一、引入 对于我们的工作，可能需要好几个hadoop作业（job）来协作完成，往往一个job的输出会被当做另一个job的输入来使用，这个时候就涉及到了数据流的处理。 我们不可能就盯着程序，等它运行完再去运行下一个程序，所以，一般的做法就是通过shell来做，但是如果涉及到的工作流很复杂（比方说有1,2,3,4四个作业，1的输出作为2 3 4的输入，然后2 3的结果运算之后再和1的...
Oozie的功能架构与下载安装详解！（亲测有效）
蔡政洁的博客
11-03 1106
目录一、问题引入二、常见的几个工作流调度框架三、Oozie的功能架构四、Oozie下载与安装安装第一步：安装软件（1）上传文件（2）解压文件第二步：配置文件（1）配置core-site.xml文件（2）解压文件（3）创建目录（4）拷贝jar包（5）打成war包（6）上传至HDFS（7）创建oozie的DB数据库（8）运行测试 一、问题引入 问题引入1：什么是工作流调度 按照前面的一个案例，为了完成得出结果的这一件事，我们要完成以下的操作。 数据加载到hive -> 数据的分析 -> sqoop数
Oozie三层架构
最新发布
04-22
### Oozie 的三层架构 Oozie 是一个用于管理和协调 Hadoop 作业的工作流调度工具，其核心设计理念围绕着有向无环图（DAG）。以下是 Oozie 的三层架构及其与 DAG 的关系解析： #### 1. 工作流层（Workflow Layer） 工作流层是 Oozie 架构的基础部分，负责定义一组动作（Actions）以及它们之间的执行顺序。这些动作可以是 MapReduce 作业、Pig 脚本、Hive 查询或者其他类型的分布式任务[^1]。 - **特点**: 动作被组织成一个控制依赖的 DAG，其中每个节点代表一个具体的动作，边表示动作间的依赖关系。 - **配置文件**: 使用 hPDL（一种 XML 流程定义语言）来描述这个 DAG 图形结构。 ```xml <workflow-app name="example-wf" xmlns="uri:oozie:workflow:0.5"> <start to="action1"/> <action name="action1"> <!-- 定义第一个动作 --> <ok to="action2"/> <error to="fail"/> </action> <action name="action2"> <!-- 定义第二个动作 --> <ok to="end"/> <error to="fail"/> </action> <kill name="fail"> <message>Job failed</message> </kill> <end name="end"/> </workflow-app> ``` 这段代码展示了如何通过 XML 文件定义一个简单的 DAG，包含两个动作 `action1` 和 `action2`，并指定它们的执行顺序和错误处理逻辑[^1]。 --- #### 2. 协调度层（Coordinator Layer） 协调度层扩展了工作流的功能，使其能够周期性地运行特定的任务集合。它可以根据时间或数据可用性触发一系列工作流实例的创建和提交[^2]。 - **DAG 关系**: 在协调度中，多个工作流可能构成更大的 DAG 形式，即不同时间段内的任务相互关联，形成复杂的依赖链条。 - **主要用途**: 支持批量任务自动化，比如每天凌晨生成一份报表或者每小时汇总一次日志数据。 --- #### 3. Bundle 层（Bundle Layer） Bundle 层进一步抽象了协调度的概念，允许多个 Coordinator 实例作为一个整体进行管理[^3]。这使得管理员可以在更高层次上规划整个系统的资源分配策略，而不必逐一关注单个 Coordinator 的细节。 - **DAG 扩展**: 在 Bundle 中，各个 Coordinator 及其所驱动的工作流共同构成了一个多级嵌套的 DAG 结构，增强了灵活性和可维护性。 - **适用场景**: 复杂的企业级应用环境中，当需要统一监控大量异步任务时尤为有用。 --- ### Oozie 与有向无环图的关系 Oozie 的核心机制正是基于有向无环图理论构建而成。无论是工作流还是协调度层面，所有的任务都被建模为 DAG 上的节点，而任务间的时间或因果依赖则对应于图中的边。这样的设计不仅简化了任务编排的过程，还提供了清晰直观的方式表达复杂业务逻辑。 例如，在实际部署过程中，开发者只需专注于绘制正确的 DAG 图谱，并将其转化为标准格式的配置文档即可让系统自动完成后续操作[^3]。 --- ### 示例代码展示 以下是一段 Python 模拟程序，演示如何手动实现类似的 DAG 表达方式： ```python class TaskNode: def __init__(self, task_id): self.task_id = task_id self.dependencies = [] def add_dependency(self, dependency_task): self.dependencies.append(dependency_task) # 创建任务节点 task_a = TaskNode('Task_A') task_b = TaskNode('Task_B') task_c = TaskNode('Task_C') # 添加依赖关系 task_a.add_dependency(task_b) task_b.add_dependency(task_c) print(f"{task_a.task_id} depends on {[t.task_id for t in task_a.dependencies]}") print(f"{task_b.task_id} depends on {[t.task_id for t in task_b.dependencies]}") ``` 此脚本模拟了一个小型的 DAG，其中 `Task_A -> Task_B -> Task_C` 显示了一种典型的线性依赖模式。 --- ### 总结 综上所述，Oozie 的三层架构——工作流层、协调度层和 Bundle 层——均紧密依托于有向无环图的思想展开设计。每一层都致力于提供更加灵活高效的解决方案以应对日益增长的大规模数据分析需求。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值