hxcaifly的博客

1. 引言XXL Job和azkaban的任务调度功能其实都是基于quartz来开发的，并且Spring也集成了Quartz模块。 所以如果想深入了解调度原理，那其实有必要先对Quartz做一番了解。参考：https://www.cnblogs.com/Dorae/p/9357180.html...

写在前面Azkaban官网：https://azkaban.github.io/1. azkaban简单介绍Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 其Web UI界面如下图所示。由于我们团...

一.XXL JOB项目源码整体概括1. 源码整体概括说明这个项目是作为工程开发的同学们很值得学习的一个开源项目。代码整体风格比较好，模块化清晰。代码逻辑遵行Web的MVC架构，采用Spring boot + Mybatis的框架组合来组织代码。代码总体分为三部分：一__. __xxl-job-core: 这是公共服务模块，比如提供RPC远程调度，线程管理等。从业务角度去分析这个模块是没有意...

1.前言任务调度系统在大数据平台架构中扮演着比较重要的角色。下图是引自网易的猛犸大数据平台lambda架构图。其中的Azkaban就是其任务调度组件。概括来说，任务调度在大数据平台中所扮演的角色主要有：任务编排：对任务流按照一定的逻辑串起来。这在大数据开发中，显得比较重要，对于一个工作任务，可能有不同的子任务串起来的，并且有些子任务是并行执行的。举个例子，在做一个机器学习的模型时，可能...