黑白影的博客

一、Azkaban 介绍1.1 背景一个完整的大数据分析系统，必然由很多任务单元(如数据收集、数据清洗、数据存储、数据分析等)组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题：如何定时调度某个任务？如何在某个任务执行完成后再去执行另一个任务？如何在任务失败时候发出预警？…面对这些问题，工作流调度系统应运而生。Azkaban就是其中之一。1...

一、Azkaban 源码编译1.1 下载并解压Azkaban 在3.0版本之后就不提供对应的安装包，需要自己下载源码进行编译。下载所需版本的源码，Azkaban的源码托管在GitHub上，地址为https://github.com/azkaban/azkaban 。可以使用git clone的方式获取源码，也可以使用wget直接下载对应release版本的tar.gz文件，这里我采用第二种方...

一、简介Azkaban主要通过界面上传配置文件来进行任务的调度。它有两个重要的概念：Job： 你需要执行的调度任务；Flow：一个获取多个Job及它们之间的依赖关系所组成的图表叫做Flow。目前 Azkaban 3.x 同时支持 Flow 1.0 和 Flow 2.0，本文主要讲解 Flow 1.0的使用，下一篇文章会讲解Flow 2.0的使用。二、基本任务调度2.1 新建项目在...

一、Flow 2.0 简介1.1 Flow 2.0 的产生Azkaban 目前同时支持 Flow 1.0 和 Flow2.0 ，但是官方文档上更推荐使用Flow 2.0，因为Flow 1.0会在将来的版本被移除。Flow 2.0的主要设计思想是提供1.0所没有的流级定义。用户可以将属于给定流的所有job / properties文件合并到单个流定义文件中，其内容采用YAML语法进行定义，同时还...