大数据调度平台oozie、azkaban、dolphinscheduler对比

大数据调度平台目前多样化,如何选择适合自己公司得调度平台,老姜给大家罗列三种调度平台性能对比。

DolphinScheduler Azkaban Oozie
定位 解决数据处理流程中错综复杂的依赖关系 为了解决Hadoop的任务依赖关系问题 管理Hdoop作业(job)的工作流程调度管理系统
任务类型支持 支持传统的shell任务,同时支持大数据平台任务调度:MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procedure、sub_process command、HadoopShell、Java、HadoopJava、Pig、Hive等,支持插件式扩展 统一调度hadoop系统中常见的mr任务启动、Java MR、Streaming MR、Pig、Hive、Sqoop、Spark、Shell等
可视化流程定义 所有流、定时操作都是可视化的,通过拖拽来绘制DAG,配置数据源及资源,同时对于第三方系统,提供api方式的操作。 通过自定义DSL绘制DAG并打包上传 配置相关的调度任务复杂,依赖关系、时间触发、事件触发使用xml语言进行表达
任务监控支持 任务状态、任务类型、重试次数、任务运行机器、可视化变量,以及任务流执行日志 只能看到任务状态 任务状态、任务类型、任务运行机器、创建时间、启动时间、完成时间等。
暂停/恢复/补数 支持暂停、恢复 补数操作 只能先将工作流杀死在重新运行 支持启动/停止/暂停/恢复
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值