分布式作业系统 Elastic-Job-Lite 源码分析 —— 作业监听器

ElasticJob‐Lite:作业监听器 ElasticJob‐Lite提供作业监听器,用于在任务执行前后执行监听的方法。监听器分为每台作业节点均执行的常规监听器和分布式场景中仅单一节点执行的分布式监听器(分布式监听器目前有Bug)。在作业依赖(DAG)功能开发完成之后,可能会考虑删除作业监听器功能。而实现自己的常规监听器和分布式监听器,需要添加SPI实现。 源码分析 作业监听器工厂类: package org.apache.shardingsphere.elasticjob.infra.listener; import lombok.Acces 阅读详情

点击上方“芋道源码”,选择“置顶公众号”

技术文章第一时间送达!

源码精品专栏

 


摘要: 原创出处 http://www.iocoder.cn/Elastic-Job/job-listener/ 「芋道源码」欢迎转载,保留摘要,谢谢!

1. 概述2. ElasticJobListener3. AbstractDistributeOnceElasticJobListener


1. 概述

本文主要分享 Elastic-Job-Lite 作业监听器。

涉及到主要类的类图如下( 打开大图 ):

  • 绿色监听器接口 ElasticJobListener,每台作业节点均执行。

  • 粉色监听器接口 AbstractDistributeOnceElasticJobListener,分布式场景中仅单一节点执行。

  • 蓝色类在 com.dangdang.ddframe.job.lite.internal.guarantee 里,保证分布式任务全部开始和结束状态。 AbstractDistributeOnceElasticJobListener 通过 guarantee 功能,实现分布式场景中仅单一节点执行。

你行好事会因为得到赞赏而愉悦 
同理,开源项目贡献者会因为 Star 而更加有动力 
为 Elastic-Job 点赞!传送门

2. ElasticJobListener

ElasticJobListener,作业监听器接口,每台作业节点均执行。

若作业处理作业服务器的文件,处理完成后删除文件,可考虑使用每个节点均执行清理任务。此类型任务实现简单,且无需考虑全局分布式任务是否完成,请尽量使用此类型监听器。

接口代码如下:

public interface ElasticJobListener {

    /**
     * 作业执行前的执行的方法.
     * 
     * @param shardingContexts 分片上下文
     */
    void beforeJobExecuted(final ShardingContexts shardingContexts);

    /**
     * 作业执行后的执行的方法.
     *
     * @param shardingContexts 分片上下文
     */
    void afterJobExecuted(final ShardingContexts shardingContexts);
}

调用执行如下:

// AbstractElasticJobExecutor.java
public final void execute() {
   // ...省略无关代码

   // 执行 作业执行前的方法
   try {
       jobFacade.beforeJobExecuted(shardingContexts);
   } catch (final Throwable cause) {
       jobExceptionHandler.handleException(jobName, cause);
   }
   // ...省略无关代码(执行 普通触发的作业)
   // ...省略无关代码(执行 被跳过触发的作业)
   // ...省略无关代码(执行 作业失效转移)

   // ...执行 作业执行后的方法
   try {
       jobFacade.afterJobExecuted(shardingContexts);
   } catch (final Throwable cause) {
       jobExceptionHandler.handleException(jobName, cause);
   }
}
  • JobFacade 对作业监听器简单封装进行调用。

    // LiteJobFacade.java
    @Override
    public void beforeJobExecuted(final ShardingContexts shardingContexts) {
       for (ElasticJobListener each : elasticJobListeners) {
           each.beforeJobExecuted(shardingContexts);
       }
    }

    @Override
    public void afterJobExecuted(final ShardingContexts shardingContexts) {
       for (ElasticJobListener each : elasticJobListeners) {
           each.afterJobExecuted(shardingContexts);
       }
    }
  • 下文提到的 AbstractDistributeOnceElasticJobListener,也是这么调用。

3. AbstractDistributeOnceElasticJobListener

AbstractDistributeOnceElasticJobListener,在分布式作业中只执行一次的监听器。

若作业处理数据库数据,处理完成后只需一个节点完成数据清理任务即可。此类型任务处理复杂,需同步分布式环境下作业的状态同步,提供了超时设置来避免作业不同步导致的死锁,请谨慎使用。

创建 AbstractDistributeOnceElasticJobListener 代码如下:

public abstract class AbstractDistributeOnceElasticJobListener implements ElasticJobListener {

    /**
     * 开始超时时间
     */
    private final long startedTimeoutMilliseconds;
    /**
     * 开始等待对象
     */
    private final Object startedWait = new Object();
    /**
     * 完成超时时间
     */
    private final long completedTimeoutMilliseconds;
    /**
     * 完成等待对象
     */
    private final Object completedWait = new Object();
    /**
     * 保证分布式任务全部开始和结束状态的服务
     */
    @Setter
    private GuaranteeService guaranteeService;

    private TimeService timeService = new TimeService();

    public AbstractDistributeOnceElasticJobListener(final long startedTimeoutMilliseconds, final long completedTimeoutMilliseconds) {
        if (startedTimeoutMilliseconds <= 0L) {
            this.startedTimeoutMilliseconds = Long.MAX_VALUE;
        } else {
            this.startedTimeoutMilliseconds = startedTimeoutMilliseconds;
        }
        if (completedTimeoutMilliseconds <= 0L) {
            this.completedTimeoutMilliseconds = Long.MAX_VALUE; 
        } else {
            this.completedTimeoutMilliseconds = completedTimeoutMilliseconds;
        }
    }
}
  • 超时参数 startedTimeoutMilliseconds、completedTimeoutMilliseconds 务必传递,避免作业不同步导致的死锁。

????下面,我们来看本文的重点:AbstractDistributeOnceElasticJobListener,在分布式作业中只执行一次:

@Override
public final void beforeJobExecuted(final ShardingContexts shardingContexts) {
   // 注册作业分片项开始运行
   guaranteeService.registerStart(shardingContexts.getShardingItemParameters().keySet());
   // 判断是否所有的分片项开始运行
   if (guaranteeService.isAllStarted()) {
       // 执行
       doBeforeJobExecutedAtLastStarted(shardingContexts);
       // 清理启动信息
       guaranteeService.clearAllStartedInfo();
       return;
   }
   // 等待
   long before = timeService.getCurrentMillis();
   try {
       synchronized (startedWait) {
           startedWait.wait(startedTimeoutMilliseconds);
       }
   } catch (final InterruptedException ex) {
       Thread.interrupted();
   }
   // 等待超时
   if (timeService.getCurrentMillis() - before >= startedTimeoutMilliseconds) {
       // 清理启动信息
       guaranteeService.clearAllStartedInfo();
       handleTimeout(startedTimeoutMilliseconds);
   }
}
  • 调用 GuaranteeService#registerStart(...) 方法,注册作业分片项开始运行。

    // GuaranteeService.java
    public void registerStart(final Collection<Integer> shardingItems) {
       for (int each : shardingItems) {
           jobNodeStorage.createJobNodeIfNeeded(GuaranteeNode.getStartedNode(each));
       }
    }

    // GuaranteeNode.java
    public final class GuaranteeNode {
        static final String ROOT = "guarantee";
        static final String STARTED_ROOT = ROOT + "/started";
    }

    static String getStartedNode(final int shardingItem) {
       return Joiner.on("/").join(STARTED_ROOT, shardingItem);
    }
    • Zookeeper 数据节点 /${JOB_NAME}/guarantee/started/${ITEM_INDEX} 为永久节点,存储空串( "" )。为什么是永久节点呢?在 GuaranteeService#isAllStarted() 见分晓。

  • 调用 GuaranteeService#isAllStarted() 方法,判断是否所有的分片项开始运行。

    /**
    * 判断是否所有的任务均启动完毕.
    *
    * @return 是否所有的任务均启动完毕
    */
    public boolean isAllStarted() {
       return jobNodeStorage.isJobNodeExisted(GuaranteeNode.STARTED_ROOT)
               && configService.load(false).getTypeConfig().getCoreConfig().getShardingTotalCount() == jobNodeStorage.getJobNodeChildrenKeys(GuaranteeNode.STARTED_ROOT).size();
    }
    • 当 /${JOB_NAME}/guarantee/started/ 目录下,所有作业分片项都开始运行,即运行总数等于作业分片总数( JobCoreConfiguration.ShardingTotalCount ),代表所有的任务均启动完毕。

    • 等待所有任务启动过程中,不排除有作业节点会挂掉,如果 /${JOB_NAME}/guarantee/started/${ITEM_INDEX} 存储临时节点,会导致不能满足所有的分片项开始运行的条件。

    • 等待过程中,如果调整作业分片总数( JobCoreConfiguration.ShardingTotalCount ),会导致异常。

  • 当不满足所有的分片项开始运行时,作业节点调用 Object#wait(...) 方法进行等待。该等待怎么结束等待?当满足所有的分片项开始运行的作业节点调用 GuaranteeService#clearAllStartedInfo() 时,StartedNodeRemovedJobListener 会监听到 /${JOB_NAME}/guarantee/started/ 被删除,调用 Object#notifyAll(...) 方法进行唤醒全部。

    // GuaranteeService.java
    /**
    * 清理所有任务启动信息.
    */
    public void clearAllStartedInfo() {
       jobNodeStorage.removeJobNodeIfExisted(GuaranteeNode.STARTED_ROOT);
    }

    // StartedNodeRemovedJobListener.java
    class StartedNodeRemovedJobListener extends AbstractJobListener {

       @Override
       protected void dataChanged(final String path, final Type eventType, final String data) {
           if (Type.NODE_REMOVED == eventType && guaranteeNode.isStartedRootNode(path)) {
               for (ElasticJobListener each : elasticJobListeners) {
                   if (each instanceof AbstractDistributeOnceElasticJobListener) {
                       ((AbstractDistributeOnceElasticJobListener) each).notifyWaitingTaskStart();
                   }
               }
           }
       }
    }  
  • 调用 #doBeforeJobExecutedAtLastStarted(...) 方法,执行最后一个作业执行前的执行的方法,实现该抽象方法,完成自定义逻辑。#doAfterJobExecutedAtLastCompleted(...) 实现的方式一样,就不重复解析了。

    // AbstractDistributeOnceElasticJobListener.java
    /**
    * 分布式环境中最后一个作业执行前的执行的方法.
    *
    * @param shardingContexts 分片上下文
    */
    public abstract void doBeforeJobExecutedAtLastStarted(ShardingContexts shardingContexts);

    /**
    * 分布式环境中最后一个作业执行后的执行的方法.
    *
    * @param shardingContexts 分片上下文
    */
    public abstract void doAfterJobExecutedAtLastCompleted(ShardingContexts shardingContexts);

    整体流程如下图:

欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:

  • 《精尽 Dubbo 源码解析系列》69 篇。

  • 《精尽 Netty 源码解析系列》61 篇。

  • 《精尽 Spring 源码解析系列》35 篇。

  • 《精尽 MyBatis 源码解析系列》34 篇。

  • 《数据库实体设计》17 篇。

  • 正在准备更新《精尽 Spring MVC 源码解析系列》


目前在知识星球更新了《Dubbo 源码解析》目录如下:

01. 调试环境搭建
02. 项目结构一览
03. 配置 Configuration
04. 核心流程一览

05. 拓展机制 SPI

06. 线程池

07. 服务暴露 Export

08. 服务引用 Refer

09. 注册中心 Registry

10. 动态编译 Compile

11. 动态代理 Proxy

12. 服务调用 Invoke

13. 调用特性 

14. 过滤器 Filter

15. NIO 服务器

16. P2P 服务器

17. HTTP 服务器

18. 序列化 Serialization

19. 集群容错 Cluster

20. 优雅停机

21. 日志适配

22. 状态检查

23. 监控中心 Monitor

24. 管理中心 Admin

25. 运维命令 QOS

26. 链路追踪 Tracing

... 一共 69+ 篇

目前在知识星球更新了《Netty 源码解析》目录如下:

01. 调试环境搭建
02. NIO 基础
03. Netty 简介
04. 启动 Bootstrap

05. 事件轮询 EventLoop

06. 通道管道 ChannelPipeline

07. 通道 Channel

08. 字节缓冲区 ByteBuf

09. 通道处理器 ChannelHandler

10. 编解码 Codec

11. 工具类 Util

... 一共 61+ 篇

目前在知识星球更新了《数据库实体设计》目录如下:

01. 商品模块
02. 交易模块
03. 营销模块
04. 公用模块

... 一共 17+ 篇

目前在知识星球更新了《Spring 源码解析》目录如下:

01. 调试环境搭建
02. IoC Resource 定位
03. IoC BeanDefinition 载入

04. IoC BeanDefinition 注册

05. IoC Bean 获取

06. IoC Bean 生命周期

... 一共 35+ 篇

目前在知识星球更新了《MyBatis 源码解析》目录如下:

01. 调试环境搭建
02. 项目结构一览
03. MyBatis 面试题合集

04. MyBatis 学习资料合集

05. MyBatis 初始化

06. SQL 初始化

07. SQL 执行

08. 插件体系

09. Spring 集成

... 一共 34+ 篇

源码不易↓↓↓↓↓

点赞支持老艿艿↓↓

Elastic-Job之几个主要的监听器 这篇博客我们来简单看几个主要的监听器的实现 ElectionListenerManager 主节点选举监听管理器 public void start() { addDataListener(new LeaderElectionJobListener()); addDataListener(new LeaderAbdicationJobListener()); ... 阅读详情

相关推荐

NVMe-MI --- Message Servicing Model(消息服务模型)

本文主要介绍NVMe-MI消息服务模型,两个主要类别是请求消息和响应消息。并介绍带外机制消息服务状态机。

智小星的博客 2016

源码分析ElasticJob任务运行事件监听器

在任务执行的前后,ElasticJob可以提供扩展,其主要类图如下: ElastciJobListener:elasticJob任务执行事件监听器,提供如下两个方法: 1)void beforeJobExecuted(final ShardingContexts shardingContexts); 在任务执行之前调用,shardingContexts为分片上下文信息。 2)...

中间件兴趣圈 4963

从零部署思澈科技SiFli-Solution:避坑指南与实战排错

本文详细介绍了从零部署思澈科技SiFli-Solution开发环境的完整流程与实战排错指南。重点解析了Keil uVision5版本选择、Butterfli工具路径配置等关键步骤,并针对Keil路径报错、函数冲突等高频问题提供了具体解决方案,帮助开发者高效避坑,快速搭建稳定的嵌入式开发环境。

devops8pract的博客 530

【Elastic-Job源码分析】——作业监听器

参考文档:[芋道源码-Elastic Job Lite](http://www.iocoder.cn/categories/Elastic-Job-Lite/) 下载源码地址:[Elastic-Job源码地址](https://github.com/apache/shardingsphere-elasticjob) Elastic-Job官网地址:【[Elastic-Job官网文档地址](https://shardingsphere.apache.org/elasticjob/)】 Ela

你看到的逆袭,只不过是一场预备很久,草蛇灰线,伏笔千里的反攻 661

【加密社】私钥碰撞器,秒杀市面上的碰撞器

基于上述的逻辑和代码,开发了ETH挖掘器(图1.1)这里有个亮点是:1.很多开发者在判断地址是否有效的环节上,用的是查询余额,其实这是不对的,查询余额你可能只能查询对应代币的余额,例如usdt,eth等但是如果用查询交易次数就不一样了,你只要是交易过,我就认为是有效钱包,这样的速度比查询余额要快,也要更准确。2.rpc节点可配置。

加密社的博客 1583

从零开始掌握Simscape Multibody:机械系统建模与仿真入门

本文为机械系统建模与仿真入门指南,详细介绍了如何从零开始使用Simscape Multibody。通过构建曲柄摇块机构的实战案例,系统讲解了刚体、关节、约束等核心模块的使用,以及模型验证、参数化设计和多领域系统集成等进阶技巧,帮助工程师和学生高效进行虚拟设计与测试。

weixin_29229261的博客 313

elastic-job分布式调度框架

一、elastic-job框架 基于Quartz框架、zookepper开发。 主要解决了集群下作业会多次执行、集群并不能水平扩展作业(执行效率问题)。特性如下: 分布式调度协调(由zookeeper提供) 弹性扩容缩容 失效转移(当某节点失效后,其他节点会接管作业执行) 错过执行作业重触发 作业分片一致性,保证同一分片在分布式环境中仅一个实例执行(不会发生多次执行情况) 丰富的作业类型(simple、dataflow) spring整合及命名空间提供(SpringJobScheduler

sumengnan的博客 956

ubuntu18.04安装xenomai3.1(百分百成功版)

ubuntu18.04安装xenomai3.1(百分百成功版),保姆级教学!!!

h542812556sdu的博客 2065

elastic-job之监听器

每个作业都可以配置一个任务监听器,确切的说是只能配置一个本地监听器和一个分布式监听器。Elastic-job有三种作业类型,但是它们的通用配置都是一样的,所以本文在介绍作业的监听器配置时将仅以简单作业的配置为例。 本地监听器 本地监听器只在节点执行自己分片的时候调度,每个分片任务调度的时候本地监听器都会执行。本地监听器由ElasticJobL...

weixin_34194087的博客 767

深入C++学习还必须掌握的一基础知识精讲

施磊C++语言基础提高课程笔记,包括了new/delete;malloc/free;引用和指针;const,指计和引用的结合;函数重载,inline的数,参数带默认值的函数;函数模板等知识点

GeniusAng的博客 1481

C语言实现惯导系统的间接粗对准

间接粗对准方法具有更好的角晃动抗干扰能力,只是在短时间内线晃动抗干扰能力相对弱些,若适当延长粗对准时间(一般在分钟量级),间接粗对准方法往往都能够取得良好的效果。间接粗对准方法是一种非常实用的捷联惯导粗对准方法,得到了广泛的应用。在惯导系统进入工作前,需要进行初始对准,使得惯导系统与当地导航坐标系指向一致,便于惯导系统更好地进入工作状态。博主利用C语言实现了间接粗对准,间接粗对准较之解析粗对准更有优势。以上函数中使用的其他函数块,已在之前或之后的博客中给出。

十八与她的博客 790

分布式作业系统 Elastic-Job-Lite 源码分析 —— 作业事件追踪

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 精尽 Dubbo 原理与源码 69 篇精尽 Netty 原理与源码 61 篇中文详细注释的开源...

芋道源码 1840

Python爬虫实战:利用Selenium与Playwright抓取美团外卖数据

在当今大数据时代,网络数据采集已成为商业分析和市场研究的重要手段。本文以美团外卖平台为例,详细介绍如何使用Python最新爬虫技术(Selenium、Playwright)进行数据采集,并探讨相关技术原理、反爬应对策略及数据存储方案。通过5000+字的详细讲解和完整代码示例,帮助读者掌握现代网络爬虫开发的核心技能。本文详细介绍了使用Python最新爬虫技术采集美团外卖数据的完整流程,涵盖了从环境配置、页面分析到数据存储的全链路解决方案。

2201_76125261的博客 2551

分布式作业系统 Elastic-Job-Lite 源码分析 —— 作业失效转移

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 精尽 Dubbo 原理与源码 69 篇精尽 Netty 原理与源码 61 篇中文详细注释的开源...

芋道源码 590

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

分布式作业系统 Elastic-Job-Lite 源码分析 —— 作业数据存储

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 精尽 Dubbo 原理与源码 69 篇精尽 Netty 原理与源码 61 篇中文详细注释的开源...

芋道源码 410

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

分布式作业系统 Elastic-Job-Lite 源码分析 —— 作业执行

点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏 精尽 Dubbo 原理与源码专栏( 已经完成 69+ 篇,预计总共 75+ 篇 )中文详细注释...

芋道源码 430

Elastic-Job-Lite 源码分析 —— 作业监听器

1. 概述 本文主要分享Elastic-Job-Lite 作业监听器。 涉及到主要类的类图如下(打开大图): 绿色监听器接口 ElasticJobListener,每台作业节点均执行。 粉色监听器接口 AbstractDistributeOnceElasticJobListener,分布式场景中仅单一节点执行。 蓝色类在com.dangdang.ddframe.job.lite.internal.guarantee里,保证分布式任务全部开始和结束状态。 AbstractDistrib...

weixin_42073629的博客 563

工具篇--分布式定时任务springBoot--elasticjob ElasticJobListener 的加载

本文对 定义的SPI 监听器 加载实现做介绍。在 Spring Boot 中,SPI(Service Provider Interface)是一种机制,用于实现组件化和扩展性。SPI机制允许开发者在运行时动态地加载并执行接口的实现类,从而降低耦合、增强可扩展性,并使应用程序更容易扩展和定制。定义接口:首先,您需要定义一个接口,该接口包含需要被实现的方法。这个接口定义了一组可扩展的功能或服务点。实现接口:然后,您可以创建一个或多个实现了该接口的类。这些类将提供接口定义的功能,并作为可插拔的组件。

拽着尾巴的鱼儿的博客 1302

Elastic-JOB

开发指南 代码开发 作业类型 目前提供3种作业类型,分别是Simple, DataFlow和Script。 DataFlow类型用于处理数据流,它又提供2种作业类型,分别是ThroughputDataFlow和SequenceDataFlow。需要继承相应的抽象类。 Script类型用于处理脚本,可直接使用,无需编码。 方法参数shardingContext包含

zhaosensenyy的博客 9390

Elastic Job 入门教程(三)— 作业监听

接Elastic Job 入门教程(二)— Spring Boot框架下是实现Elastic Job 脚本作业(Script Job),本章我们讨论作业Job的监听。 定义监听器 @Component @Slf4j public class CommonElasticJobListener implements ElasticJobListener { @Override publ...

helloworld的专栏 1788

最新源码分析ElasticJob任务运行事件监听器,某大厂开发者对于Java多线程的总结

总的来说,面试是有套路的,一面基础,二面架构,三面个人。最后,小编这里收集整理了一些资料,其中包括面试题(含答案)、书籍、视频等。希望也能帮助想进大厂的朋友本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友,可以点击这里获取代码@1:使用GuaranteeService注册分片开始。

2401_84557821的博客 1128

定时任务——ElasticJob原理

文章主要介绍了ElasticJob的原理和源码解析。ElasticJob是一个分布式任务调度框架,使用Zookeeper作为协调器,支持任务分片和分布式锁机制。文章还探讨了ElasticJob的作业流程、任务分配、Leader选举、任务触发和执行机制,以及如何在Spring Boot中使用ElasticJob。

庄小焱 1653
上一篇: 每月一毒艿,送送送 50 本 Redis 电子书
下一篇: IntelliJ IDEA JDK 8 性能调优
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值