分布式任务调度的架构与选型

最新推荐文章于 2025-04-02 17:06:44 发布
最新推荐文章于 2025-04-02 17:06:44 发布
阅读量1.8k 收藏 25
点赞数 38
分类专栏： 分布式架构 文章标签： 分布式 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_36796512/article/details/141164231
版权

场景

任务调度是指系统在约定的特定时刻自动去执行指定任务的过程。 比如：

  • 某新闻App每天上午10点给用户推送最新新闻。
  • 某电商系统需要在每天上午 10 点，下午 3 点，晚上 8 点等不同适合发放一批优惠券。
  • 某银行系统需要在信用卡到期还款日的前三天每天进行短信提醒。
  • 某财务系统需要在每天凌晨 1点 结算前一天的财务数据，统计汇总。
  • 某报表系统需要在每天凌晨 1点 读取业务数据生成报表数据。
  • 12306 会根据车次的不同，而设置某几个时间点进行分批放票。

功能

一个任务调度平台，需要具备有以下几点功能：

  • 核心功能：定时调度、任务管理、日志监控
  • 高可用：集群、分片、失败处理
  • 高性能：分布式锁
  • 扩展功能：可视化运维、多语言、任务编排

架构

以 XXL-JOB 和 Elastic-job 说明分布式任务调度的一些基本工作原理。

1. XXL-JOB

以下内容参考自：xxl-job官网

xxl job 的架构原理

XXL-JOB 是一个轻量级分布式任务调度平台，其设计理念主要是为了简化分布式系统中定时任务的管理和执行。 XXL-JOB 的架构提供了高效的任务调度能力，支持任务的分布式执行，以及故障转移和动态扩展的能力。

1.1 核心组件

  1. 调度中心

    • 调度中心是 XXL-JOB 的核心部分，负责管理任务的注册、存储、调度和监控。它提供了一个用户界面，用于配置和管理任务的执行。
    • 调度中心还负责触发执行器运行相应的任务，并处理执行结果。

  2. 执行器

    • 执行器是任务执行的工作节点。在实际部署时，可以在不同的机器上部署多个执行器实例，以实现任务的分布式执行。
    • 执行器从调度中心接收执行命令，执行具体的任务，并将执行结果反馈给调度中心。
1.2 架构原理

  1. 任务调度流程

    • 用户在调度中心定义任务，包括任务的执行脚本、调度策略（如CRON表达式）、失败处理策略等。
    • 调度中心根据任务配置的时间策略（如CRON表达式），触发任务的执行。
    • 当任务触发时，调度中心选择一个或多个执行器发送执行命令。
    • 执行器接收到执行命令后，开始执行具体的任务逻辑，并将执行结果返回给调度中心。
    • 调度中心接收执行结果，并进行相应的处理，如重试、告警等。

  2. 负载均衡与故障转移

    • XXL-JOB 支持自动记录每个执行器的负载情况，调度中心会根据这些信息智能选择负载较低的执行器执行任务，实现负载均衡。
    • 在执行器出现故障时，调度中心可以自动将任务转移到其他健康的执行器上，实现故障转移。

  3. 动态扩展

    • 执行器支持水平扩展。当任务量增加，导致现有执行器负载过高时，可以简单地增加更多的执行器实例，调度中心会自动识别并利用新增的执行器资源。

  4. 高可用性设计

    • XXL-JOB 调度中心通常部署为集群模式，以避免单点故障。通过数据库共享任务配置和执行记录，任何一个调度中心实例都能处理任务调度和管理。

  5. 运行模式

    • Bean模式:每个Bean模式任务都是一个Spring的Bean类实例，它被维护在“执行器”项目的Spring容器中。任务类需要加“@JobHandler(value=”名称”)”注解，因为“执行器”会根据该注解识别Spring容器中的任务。任务类需要继承统一接口“IJobHandler”，任务逻辑在execute方法中开发，因为“执行器”在接收到调度中心的调度请求时，将会调用“IJobHandler”的execute方法，执行任务逻辑。

    • GLUE模式(Java):每个 “GLUE模式(Java)” 任务的代码，实际上是“一个继承自“IJobHandler”的实现类的类代码”，“执行器”接收到“调度中心”的调度请求时，会通过Groovy类加载器加载此代码&

最低0.47元/天 解锁文章
如何选择适合的分布式任务调度框架
GbkMobile的博客
09-25 190
上述介绍的Apache Mesos、Apache Hadoop YARN和Kubernetes是一些常见的选择，但并不是唯一的选择。在选择框架时，您还应考虑框架的社区支持、文档资料、生态系统成熟度以及您团队的技术栈和经验等因素，以确保选择一个适合的框架来满足您的需求。然而，在选择适合的分布式任务调度框架时，我们需要考虑多个因素，如框架的功能、性能、可靠性、社区支持等。本文将介绍一些常见的分布式任务调度框架，并提供一些源代码示例，以帮助您更好地选择合适的框架。如有任何问题，请随时提问。
架构：分布式任务调度系统（SIA-Task）简介
GIS摆渡人
08-01 551
REST一种软件架构风格。这里要求执行器暴露Http调用接口来达到跨平台的目的；AOP切面编程技术。在Spring项目扩展包Hunter中使用，保证Task被串行调用（单例单线程）；Quartz功能强大，应用灵活，对单个任务的控制基本做到了极致。这里用来作为调度中心时钟组件；MySQL用于元数据存储与（暂时）日志存取；Elastic基于Lucene的搜索服务器，提供了一个分布式多用户能力的全文搜索引擎。用于日志的存储与查询；httpshttps。...
XXL-JOB分布式任务调度框架(一)-基础入门
专业的计算机毕业设计指南
02-17 3497
任务调度是指系统为了自动完成特定任务，在约定的特定时刻去执行任务的过程。有了任务调度即可解放更多的人力，而是由系统自动去执行任务。 XXL-JOB是一个开源的，具有丰富的任务管理功能以及高性能，高可用等特点的轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展、开箱即用！！！ 于2015问世，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
分布式任务调度框架：核心对比与选型指南
最新发布
Q2540840639的博客
04-02 951
分布式定时任务调度系统技术选型--转
05-18 529
http://www.expectfly.com/2017/08/15/%E5%88%86%E5%B8%83%E5%BC%8F%E5%AE%9A%E6%97%B6%E4%BB%BB%E5%8A%A1%E6%96%B9%E6%A1%88%E6%8A%80%E6%9C%AF%E9%80%89%E5%9E%8B/ 我们先思考下面几个业务场景的解决方案: 支付系统每天凌晨1点跑批，进行一...
python分布式任务调度_分布式定时任务调度框架选型
weixin_39953578的博客
12-03 858
分布式定时任务调度框架选型背景业务场景定期执行任务：如每天0点做资源稽查；需求和痛点集群部署服务时，如何确保任务不被重复执行？---最急迫如何监控、告警等；高可用、无单点故障；优秀的并行处理能力、分片能力；自研 or 开源任何工具的使用都要结合自身的业务场景，脱落业务场景谈技术选型就是耍流氓。考虑私有云场景业务量一般，高并发场景很少遇到，同一时间也不会有超大量定时任务同时需要执行，所以考虑自研也未...
分布式调度框架大集合
热门推荐
u012379844的专栏
09-15 6万+
分布式任务调度框架 1、什么是分布式任务调度？ 2、常见的分布式任务调度框架有哪些？ 3、分布式任务调度框架的技术选型？ 4、分布式任务调度框架的安装与使用？ 大对比表格：https://pan.baidu.com/s/1CZAjTFqIhinzlVLnrrMUKQ 分布式任务调度，三个关键词：分布式、任务调度、配置中心。 分布式：平台是分布式部署的，各个节点之间可以无状态和无限的水...
分布式定时任务调度框架
代码还是得自己扣
09-17 8971
分布式定时任务框架的对比
常见分布式调度框架
a9757226的博客
10-30 2074
elastic-job使用了quartz的调度机制，内部原理一致，他可以看作是quartz的一个扩展实现，使用注册中心(zookeeper)替换了quartz的jdbc数据存储方式，此外，elastic-job又支持分片等特殊功能。分布式任务调度SchedulerX是阿里巴巴自研的基于Akka架构的分布式任务调度平台，兼容开源XXL-JOB、ElasticJob，支持Cron定时、一次性任务、任务编排、分布式执行批量任务等功能，具备高可用、可视化、可运维、低延时等能力。绑定某个任务以及绑定机器。
分布式任务调度框架调研
godwei_ding的博客
08-08 881
分布式任务调度框架调研需求：当前方案存在问题调研：quartz：整体架构：相关特性：elastic-job：整体架构：相关特性：xxl-job：整体架构：相关特性： 需求： 在目前的实际业务中有大量的定时任务需要执行，例如大量缓存设置的保持数据一致性的兜底任务、课程开课前10分钟的考勤提醒、存在24小时未批改作业时提醒对应的老师等等。 当前方案 由于没有接入过分布式任务调度框架，所以在分布式环境中，这些任务是通过暴露一个HTTP接口来由外部来触发的，只触发一次则交给调用方来保证。调用方则是选择了Linux的
克服并发与容错：分布式任务调度系统实践
jsjbrdzhh的博客
11-06 1187
## 构建高性能任务调度系统：技术挑战与解决方案 本文深入探讨了研发高性能任务调度系统的技术挑战与解决方案。任务调度系统作为现代软件架构中的关键组件，负责高效管理和执行各种定时任务，其性能和稳定性直接影响着整个系统的运行效率。 文章首先分析了任务调度系统面临的常见挑战，包括高并发请求处理、任务依赖关系管理、容错机制设计以及资源分配优化等。随后，详细介绍了针对这些挑战的解决方案，例如采用分布式架构提升并发能力，利用图算法解决任务依赖关系，实现任务重试和故障转移机制保证系统稳定性，以及采用动态资源调度算法
基于Java的轻量级分布式任务调度平台XXL-JOB源码
10-10
在当今快速发展的信息技术领域，分布式任务调度已经成为处理大规模、高并发业务的关键技术之一。分布式任务调度系统能够将复杂的任务按照预定策略分布在不同的计算节点上执行，有效提升了任务处理的效率和系统的伸缩...
分布式任务调度框架 集合
07-08
1. TBSchedule 一个简洁的分布式任务调度引擎 官方出处 http://code.taobao.org/p/tbschedule/wiki/index/ 2. DISchedule 对TBSchedule分布式任务调度进行了简单改造 3. light-task-scheduler LTS是一个轻量级分布式任务调度框架。有三种角色, JobClient, JobTracker, TaskTracker。 4. uncode-schedule 基于zookeeper+spring task的分布式任务调度组件，非常小巧，无需任何修改就可以使spring task具备分布式特性，确保所有任务在集群中不重复，不遗漏的执行。 5.Quartz 官方地址：http://www.quartz-scheduler.org/downloads 另外付(2.2.1版本的官方说明文档) 目前主流的分布式任务调度框架 个人建议用Quartz 文档全资料多 不过看自己项目需求把 TBSchedule和uncode-schedule基于zookeeper 不用数据库 总之每个框架有各自的优缺点，需求自己略做验证。 附件中有项目的下载地址 可以随时跟新到最新版本和资料。
xxl-job：分布式任务调度框架。（分布式任务调度平台XXL-JOB）
02-04
XXL作业 XXL-JOB，一个分布式任务调度框架。 介绍 XXL-JOB是一个分布式任务调度框架。 它的核心设计目标是快速发展，学习简单，轻巧且易于扩展的内容。 现在，它已经是开源的，许多公司在生产环境中使用它，真正的“开箱即用”。 XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发Swift，学习简单，轻量级，易扩展。更换开放源代码并连接到公司线上产品线，开箱即用。 文献资料 通讯 产品特点 1，简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手； 2，动态：支持动态修改任务状态，启动/停止任务，以及终止运行中任务，即时生效； 3，调度中心HA（中心式）
浅谈分布式任务调度框架
hitzbb的博客
06-27 6811
1、前言 上一篇文章谈了单机的定时任务解决方案，只能在单个JVM进程中使用；而我们的现在基本上是分布式场景，需要一套在分布式环境下高性能、高可用、可扩展的分布式任务调度框架；是否将之前的单机解决方案部署到分布式就可以？面临的分布式场景如何实现分布式的任务调度，如何解决单点故障问题实现高可用？接下来我们首先分析分布式任务调度框架相对单机的优势以及结合几种任务调度框架分析是如何逐步实现分布式的高可用、效率的，最后综合比较下业界比较流行的框架，在项目开发中方便选择。 2、Why 分布式任务调度框架 背景 1、单点
分布式定时任务调度框架选型
MayMatrix 的博客
05-08 1106
分布式定时任务调度框架选型 背景 业务场景 定期执行任务：如每天0点做资源稽查； 需求和痛点 集群部署服务时，如何确保任务不被重复执行？---最急迫 如何监控、告警等； 高可用、无单点故障； 优秀的并行处理能力、分片能力； 自研 or 开源 任何工具的使用都要结合自身的业务场景，脱落业务场景谈技术选型就是耍流氓。 考虑私有云场景业务量一般，高并发场景很少遇到，同一时间也不会有超...
分布式任务调度框架
延宝小白马的博客
02-19 1043
       我们在实际的开发工作中，或多或少的都会用到任务调度这个功能。常见的分布式任务调度框架有：cronsun、Elastic-job、saturn、lts、TBSchedule、xxl-job等。      定时任务的分布式调度      分布式调度框架大集合  ...
分布式调度框架
优快云_bird的博客
10-20 376
https://blog.youkuaiyun.com/u012379844/article/details/82716146
给出 分布式任务调度系统 实例架构图
03-19
### 分布式任务调度系统的架构图概述 分布式任务调度系统的核心在于合理分配计算资源并协调多个节点之间的任务执行过程。以下是关于此类系统的一个典型架构描述： #### 1. **架构组成** 典型的分布式任务调度系统由以下几个主要模块构成[^1]: - **调度中心**: 负责接收任务请求，根据预定义的规则或算法决定哪个工作节点来运行该任务。 - **工作节点 (Worker)**: 执行实际的任务逻辑。它们会向调度中心报告自身的状态以及已完成的工作情况。 - **存储层**: 提供持久化支持，用于保存任务配置、历史记录以及其他元数据信息。 #### 2. **通信机制** 各组成部分之间通常采用消息队列或者RPC方式进行交互[^2]。例如： - 使用Kafka作为事件驱动的消息中间件传递指令； - 或者利用gRPC实现低延迟的服务调用接口。 #### 3. **高可用性和容错处理** 为了提高整个系统的稳定性和可靠性，在设计时还需要考虑以下方面[^3]: - 数据复制与备份策略以防止单点失效； - 动态扩展能力使得可以灵活应对负载变化的需求； 下面给出了一种可能的简化版架构示意代码表示形式(伪代码)，帮助理解其结构关系: ```java // 定义一个简单的作业类 public abstract class BaseJob { protected String jobId; public abstract void execute(); } // 实现具体的某个job public class MyCustomJob extends BaseJob{ @Override public void execute(){ System.out.println("Executing custom job with id:" + this.jobId); } } // 创建scheduler服务端入口程序 public class SchedulerServer { private Map<String, List<WorkerNode>> workerPool; public void start() throws Exception{ while(true){ // 获取待处理的新task Task newTask = getNewTaskFromQueue(); // 查找合适的worker node去跑这个task WorkerNode selectedWorker = selectBestAvailableWorker(newTask); if(selectedWorker != null){ sendTaskToWorker(newTask,selectedWorker); }else{ logError("No available workers found!"); } Thread.sleep(intervalBetweenPolling); } } } ``` 以上仅为概念性的展示，并未涉及具体技术选型细节。实际应用中的方案可能会更加复杂多样。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ArchManual

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值