leehom的博客

调度引擎是关键的基础设施，不但是定时执行任务，更是大规模分布式任务引擎，分布式并行处理平台，管理计算节点集群，提供高吞吐的可伸缩的数据处理能力。同时，分布式调度引擎也是，分布式改造的核心技术根据场景，调度引擎分为分布式定时任务，处理大规模数据任务；分布式时间槽，处理大量任务本文介绍的架构设计，分布式特性依赖《分布式服务支撑平台》时间轮是由时间槽组成的环形队列，时间槽内存放作业链表，秒针如时钟秒针一样，一个时间间隔走过一个时间槽，执行时间槽内任务。.........

微服务是目前java主流架构，微服务架构技术栈有，服务注册中心，网关，熔断限流，服务同学，配置中心等组件，其中，熔断限流主要3个功能特性，限流，熔断，快速失败。Sentinel是阿里开源的熔断限流组件，sentinel dashboard是演示级别，表现在metrics采集是单机版，metrics存储存在内存，不支持分布式，高可用，因此需要改造。此前博文()，介绍分布式改造设计，本系列介绍落地的设计和实现解释。

弹性组件集成有弹性需求的组件，为组件增加高弹性容量，规划集成datax，elastic-job，xxl-job，sentinel dashboard，dolphinscheduer，eventbridgeelastic-job使用zookeeper实现分布式调度，支持分片，容错，但worker节点需预先启动，参与该作业的worker参与分片，节点规模需预先计算，启动相应数量的worker数。

分布式调度引擎 elastic-job3 源码分析(二) 核心服务 TBD分布式调度引擎 elastic-job3 源码分析(三) 功能服务 TBD1. 背景调度引擎是关键的基础设施，不但是定时执行任务，更是大规模分布式任务引擎，分布式并行处理平台，管理计算节点集群，提供高吞吐的可伸缩的数据处理能力。公司日益增长的业务，对调度引擎高吞吐，高并发的要求也快速增长，需构建一个无中心，管理大集群，健壮分片容错的任务调度任务平台，支撑业务发展。同时，分布式调度引擎也是 datax，可观测-性..

1. 背景调度引擎是关键的基础设施，不但是定时执行任务，更是大规模分布式任务引擎，分布式并行处理平台，管理计算节点集群，提供高吞吐的可伸缩的数据处理能力。公司日益增长的业务，对调度引擎高吞吐，高并发的要求也快速增长，需构建一个无中心，管理大集群，健壮分片容错的任务调度任务平台，支撑业务发展。同时，分布式调度引擎也是 datax，可观测-性能指标组件(sentinel dashboard)分布式改造的核心技术2. 参考芋道源码 作业调度中间件 Elastic-Job 源码解析合集_...

1. 背景调度引擎是关键的基础设施，不但是定时执行任务，更是大规模分布式任务引擎，分布式并行处理平台，管理计算节点集群，提供高吞吐的可伸缩的数据处理能力。公司日益增长的业务，对调度引擎高吞吐，高并发的要求也快速增长，需构建一个无中心，管理大集群，健壮分片容错的任务调度任务平台，支撑业务发展。同时，分布式调度引擎也是 datax，可观测-性能指标组件(sentinel dashboard)分布式改造的核心技术2. 参考芋道源码作业调度中间件 Elastic-Job 源码解析合集_芋道源码-

1. 背景调度引擎是关键的基础设施，不但是定时执行任务，更是大规模分布式任务引擎，分布式并行处理平台，管理计算节点集群，提供高吞吐的可伸缩的数据处理能力。公司日益增长的业务，对调度引擎高吞吐，高并发的要求也快速增长，需构建一个无中心，管理大集群，健壮分片容错的任务调度任务平台，支撑业务发展。同时，分布式调度引擎也是 datax，可观测-性能指标组件(sentinel dashboard)分布式改造的核心技术2. 参考芋道源码作业调度中间件 Elastic-Job 源码解析合集_芋道源码-

1. 背景调度引擎是关键的基础设施，不但是定时执行任务，更是大规模分布式任务引擎，分布式并行处理平台，管理计算节点集群，提供高吞吐的可伸缩的数据处理能力。公司日益增长的业务，对调度引擎高吞吐，高并发的要求也快速增长，需构建一个无中心，管理大集群，健壮分片容错的任务调度任务平台，支撑业务发展。同时，分布式调度引擎也是datax，可观测-性能指标组件(sentinel dashboard)分布式改造的核心技术2. 参考芋道源码 https://blog.youkuaiyun.com/X5fnncxzq4

背景调度引擎是关键的基础设施，不但是定时执行任务，更是大规模分布式任务引擎，分布式并行处理平台，管理计算节点集群，提供高吞吐的可伸缩的数据处理能力。公司日益增长的业务，对调度引擎高吞吐，高并发的要求也快速增长，需构建一个无中心，管理大集群，健壮分片容错的任务调度任务平台，支撑业务发展。同时，分布式调度引擎也是datax，可观测-性能指标组件(sentinel dashboard)分布式改造的核心技术参考芋道源码 https://blog.youkuaiyun.com/X5fnncxzq4/artic

7 总结和规划elastic-job3问题，整改方案及规划7.1作业执行完整调度系统最主要是完整高效地执行作业(分片)，elastic-job分3类作业分片，正常分片，失效转移分片，错过执行分片，之前分析，elastic-job会丢分片，3个丢失点：1. missfired分片，作业执行常规调起和失效转移并行执行，而quartz线程只有1，执行分片会转成missfired分片，但分片逻辑并没有处理missfired分片，丢失解决方案，分片加上missfired分片2. 失效转移分两类

分布式 DataX 基于 datax 打造的语义分分布式 ETL 平台。Datax 提供 reader-framework-writer 框架，方便开发两种异构数据源数据同步，但开源的 datax 缺少分布式特性，本文介绍基于elastic 平台和改造分布式 datax 详细(落地)设计。