Azkaban 简介和2.5.0版本安装教程

Azkaban 简介和2.5.0版本安装教程

1. 背景

1. 下述是大数据业务和技术架构简图
   
2. 从上图可以看出，整个大数据框架中，涉及到很多数据传输和处理任务。而这些任务有不少都是需要每天运行，或者定时运行的。
3. 由于这些脚本之间往往存在着先后或者互相依赖关系，有时候还需要设置一些重试机制。虽然linux的contab机制加上脚本中代码逻辑，可以实现脚本依赖运行，甚至重试策略机制，但这样无疑会让脚本代码变得非常复杂，而这背离了脚本的书写逻辑。
4. 脚本的书写逻辑一般是一个脚本做一件事情，尽量避免复杂化。复杂的逻辑可以由多个脚本组合而成，这时候就需要让这些脚本有一个居中调度者。在脚本任务调度框架出现之前，一般是专门写一个脚本做脚本之间调度。但这样的调度脚本，异化程度太高，基本无法复用。所以后续出现了脚本任务调度框架，oozie，azkaban，airflow等应运而生。
5. 本文主要讲解azkaban

2. azkaban简介

1. Azkaban是一个任务调度、管理系统，可以帮用户管理、调度各种运算任务！
2. 可以调任何任务，只要你的任务能用脚本启动。
3. 本质azkaban其实是一个web项目，有前端web页面，也有后台server端，还有一个mysql用来存储数据，以及将脚本任务提交给各个相应对应平台的功能代码。
4. 官网https://azkaban.github.io/
   
   
5. 下载
   https://github.com/azkaban/azkaban
   

注意，这不是一个apache项目，azkaban使用github作为官网，这里提供源代码以及build构建指南。按照步骤进行构建即可
在实际开发中，有时候也会遇到这样的开源项目，需要自行构建包来使用。有一些甚至都没有提供构建指南，中间会遇到版本依赖冲突，甚至代码构建环境差异导致的各类问题。
最新版本3.81.0，不过目前所知，很多公司还是使用2.5.0版本。

企业开发使用开源框架，一定一定选择成熟产品，稳定大于一切！！！
企业开发并不追求新版本，而是在满足企业使用下的最稳定版本。除非遇到严重漏洞，功能无法满足等条件，否则企业中使用多年的框架很可能一直不升级。
这一点在银行，医院，教育，工业等行业相对普遍，除非遇到严重漏洞，或者功能无法满足了，否则不管是编程语言，框架，设备等等，很多都不会去主动升级。<